Kiseki
Technology

Character Agent Infrastructure

Bridge-first Architecture와 Character Engine으로 Live Studio와 Mini Agent를 같은 DNA로 연결합니다.

구조Developer Setup제품 맵Agent Hub 보기

Kiseki-native

메시는 SoftMesh, 에이전트 런타임은 Kiseki

SoftMesh/Mirai가 캐릭터 메시·패키지 셸을 만들고, Kiseki Bridge가 방송 버스·Companion HCI·AI 파이프라인을 돌립니다. API 키 없이도 kiseki-local로 파일럿 가능합니다.

01 · Pipeline

SoftMesh → Mirai → Kiseki

메시 저작과 AI 버튜버 런타임을 분리. POST /studio/import/mirai로 Character Package DNA를 Bridge에 주입합니다.

02 · Tracking

Hybrid 3-source merge

MediaPipe 웹캠 + VMC mocap + Vision rules를 mergeHybridFrames()로 하나의 VRM 표정 스트림으로 병합합니다.

03 · Character

Character Package DNA

말투·traits·금칙어·팬 메모리가 Live Studio·Companion·Agent Layer에 동일하게 주입됩니다.

04 · Architecture

Bridge-first · Event bus · HCI

chat.message → agent.speaking → OBS/VTS/VRM. 방송 밖은 /app Companion — 같은 DNA의 팬 HCI.

제품 맵 보기Live 상태 (/app)

Hybrid tracking

웹캠 + 모캡 + 비전을 하나로

Warudo/VSeeFace VMC와 브라우저 MediaPipe를 동시에 쓰는 방송 워크플로의 목표 구현입니다.

MediaPipe

얼굴·손 blendshape

VMC OSC

Warudo / VSeeFace mocap

Vision rules

웹캠 프레임 → emotion

↓ mergeHybridFrames() → 단일 ExpressionFrame

  1. 1.Runtime ?mode=hybrid에서 웹캠·VMC 프레임을 Bridge로 전송
  2. 2.Tracking Hub가 소스별 가중치·우선순위 적용
  3. 3.Vision AI enabled 시 규칙 기반 emotion 이벤트 병합
  4. 4.OBS Browser Source VRM에 실시간 반영

?overlay=1&mode=hybrid&vrm=/models/avatar.vrm

Live Native Stack

Bridge GET /native/stack — 지금 연결된 프로바이더와 Kiseki-native 모듈 목록

Bridge 상태 확인 중…

Character Package

말투, 세계관, 금칙어, 팬덤 밈, 음성·표정 매핑을 하나의 패키지로 저장합니다.

Bridge-first Architecture

방송 PC 로컬 Bridge를 기본으로 지연과 프라이버시를 줄입니다.

Runtime Separation

Panel, Runtime, Bridge를 분리해 OBS·VTS·VRM을 유연하게 연결합니다.

Event-driven Pipeline

chat.message → agent.speaking → agent.audio → OBS/VTS/VRM 출력.

Safety-ready Agent

금칙어, 연령정책, 캐릭터 붕괴 방지, 응답 로그.

Mini Agent Extension

방송 도구에서 끝나지 않고 모바일·데스크탑 개인 에이전트로 확장.

이벤트 파이프라인

  1. 1.채팅 / 플랫폼 이벤트 수신
  2. 2.Character Package + LLM 응답 생성
  3. 3.Safety 필터 · TTS · 표정 매핑
  4. 4.OBS Browser Source · VTS · VRM 출력
  5. 5.Mini Agent · 외부 AI 에이전트로 확장
기술 | Kiseki