시스템 구성도
AI Interaction Management Portal
Monitoring & Interface
사용량 모니터링: 사용자 활동로그, 모델 사용량
시스템 리소스 / 감사 로그 / 보안 이벤트
대화관리 : 저장/분류/내보내기/공유/협업
히스토리/즐겨찾기/Tag 관리
manage_accounts User/Admin
- • 모바일 메시징
- • 사용자계정/프로필관리
- • 역할/권한/LDAP 연동
- • 정책/기본모델/백업/복원
forum Chat Interface
- • 직관적인 대화형 UI
- • 실시간 LLM 모델 선택
- • 대화히스토리관리
- • 파일 업로드/멀티모달
hub Model Hub
Active데이터
수신
Automated Workflow Framework
Monitoring & Security
Workflow 추적 / 로그 분석
사용자별 접근제한 및 실행 성공률
AI Agent Pattern
- • 자연어 기반 구조화된 워크플로우 프로세스 대화형 실행
- • 대화Context유지/성능최적화/메모리관리/Multi Agent지원
Workflow Designer
- • Drag&Drop Biz.Logic구성
- • AI대화맥락 Workflow설계
- • 실시간 TEST/LQP연동확인
- • 시각적 Node Interface
Agent Engine
Real-time AI Task Orchestration
API Key Authentication (API Key 인증)
Unified Security Layer for LLM Access
Cloud LLM
External Managed Services & Data Integration
Vector DB
Semantic Search
RDBMS
Structured Data
Local LLM
On-Premise Infrastructure
Llama 3 (70B/8B)
Self-hosted vLLM engine
Mistral-7B-Instruct
Quantized GGUF/EXL2
Private Model Runtime storage
- 모델 생명주기 관리 멀티세션 동시처리
- GPU 가속 (CUDA) OpenAI 호환 API
- 계층화된 파일 구조
AGW: AI Gateway router
- API ProxyG/W(200개) API Key 관리
- 비용추적/로깅 로드밸런싱/라우팅
- 보안/접근제어
Intelligent Routing psychology
400개 이상의 외부 LLM 연결 및 단일 API를 통한 통합 접근 포인트 관리 시스템