F.01 · Transformer Core
Scaled Dot-Product Attention
Attention(Q, K, V) = softmax( QK⊤ ⁄ √dk ) · V
모든 LLM 추론의 핵심 연산입니다. Q·K⊤ 점수를 √dk로 정규화해 학습을 안정시키고, FlashAttention과 KV 캐시로 추론 지연을 줄입니다.
서비스
설계부터 운영까지
코드베일리가 책임집니다.
데이터를 모으고 문서를 읽어 지식으로 만든 다음, 그 위에서 여러 에이전트가 일하게 합니다. 이 과정 전체를 설계하고 구축해 운영까지 맡습니다.
전체 흐름
네 단계가 흐름을 만들고
세 영역이 그 아래를 받칩니다.
데이터 수집에서 멀티 에이전트까지 일곱 개 서비스가 어떻게 맞물리는지 보여 줍니다. 필요한 단계만 골라 도입할 수 있습니다.
- 7개 서비스
- 모듈형 도입
- 파인튜닝·보안
파편화된 데이터
- 01 · COLLECT 데이터 수집 에이전트 흩어진 데이터를 모읍니다
- 02 · PARSE 문서 파싱·분석 표와 구조까지 읽습니다
- 03 · EMBED 임베딩·지식화 근거 있는 지식으로 만듭니다
- 04 · ORCHESTRATE 멀티 에이전트 역할을 나눠 일을 끝냅니다
일하는 AI
05–07 · OPERATE
서비스 1 / 데이터 수집
흩어진 데이터를
에이전트가 모읍니다.
DB와 ERP, 그룹웨어, 웹, 메일, 레거시 시스템까지 부서마다 따로 쌓인 데이터를 수집 에이전트가 일정과 규칙에 따라 모읍니다. 그다음부터는 바뀐 부분만 이어서 동기화합니다.
데이터는 있는데,
쓸 수가 없습니다.
부서마다 따로 쌓인 데이터는 형식과 권한이 제각각이라 수작업에 기대게 되고, 어느 것이 최신인지조차 확인하기 어렵습니다.
- 데이터 사일로
- 수작업 반복
- 최신성 불명
- 시스템마다 형식과 권한이 달라 한곳에 모이지 않습니다
- 담당자가 손으로 내려받고 붙여 넣는 일이 반복됩니다
- 어느 것이 최신 데이터인지 아무도 확신하지 못합니다
어디서 왔는지까지
남기며 모읍니다.
DB·ERP·웹·메일을 커넥터와 수집 에이전트로 연결해 바뀐 부분만 동기화하고, 언제 무엇을 가져왔는지 기록으로 남깁니다.
- CDC 동기화
- 웹·공시 수집
- 수집 이력
-
01
소스 연결
DB·ERP·그룹웨어·SaaS를 커넥터로 연결하고 변경분(CDC)만 가져옵니다
-
02
웹·공시 수집
포털·공시·게시판을 일정에 따라 수집하고 중복과 변경을 걸러냅니다
-
03
메일·첨부 정리
메일과 첨부파일을 업무 단위로 묶어 다음 단계로 넘깁니다
-
04
수집 이력
무엇을 언제 어디서 가져왔는지 기록해 출처를 추적합니다
삼성전자와 제조 현장의
데이터를 이었습니다.
개인건강기록 마이데이터 연계부터 생산·품질·설비 데이터의 실시간 수집까지, 운영 중인 시스템에 수집 파이프라인을 붙였습니다.
- 한국 PHR
- MES 구축
- Airflow
-
2025 ~ · 삼성전자
한국 PHR 클라우드 데이터 인터페이스 구축·운영
개인건강기록(PHR) 마이데이터 업무시스템 구축 및 운영
-
2023 · (주)미성
MES(제조실행시스템) 구축
생산·품질·설비 데이터 실시간 수집 및 통합 운영 환경 구축
- Kafka
- Airflow
- Spark
- dbt
- CDC
서비스 2 / 문서 파싱
문서의 표와 구조까지
읽어 냅니다.
PDF·HWP·Office·스캔 문서를 제목과 표, 단락 구조를 살린 채 데이터로 바꿉니다. 필요한 항목은 뽑아서 분류하고 요약합니다.
문서는 사람만
읽을 수 있었습니다.
HWP와 스캔 PDF는 텍스트 추출부터 막히고, 표가 깨지면 숫자가 의미를 잃어 결국 핵심 항목을 사람이 옮겨 적게 됩니다.
- HWP·스캔 PDF
- 표 깨짐
- 수기 입력
- HWP·스캔 PDF는 일반 도구로 텍스트조차 꺼내기 어렵습니다
- 표가 깨지면 숫자의 의미가 사라집니다
- 계약서·보고서의 핵심 항목을 사람이 옮겨 적습니다
구조를 지키며
읽고 뽑아냅니다.
제목 계층과 표 구조를 보존해 변환하고, 스캔 문서는 OCR로 인식한 뒤 계약금액·기한 같은 항목을 뽑아 형식을 검증합니다.
- 구조 보존
- OCR
- 항목 추출
-
01
구조 보존 파싱
제목 계층, 표의 행과 열, 각주까지 유지한 채 변환합니다
-
02
OCR
스캔 문서·이미지·도면·손글씨를 인식합니다
-
03
항목 추출
계약금액·기한·당사자처럼 정해진 항목을 뽑아 형식을 검증합니다
-
04
분류·요약
문서 유형을 나누고 핵심을 요약해 검색과 에이전트가 쓰기 좋게 만듭니다
서비스 3 / 임베딩·RAG
사내 문서가
근거 달린 답이 됩니다.
문서를 의미 단위로 나누고 임베딩해 벡터 DB에 담습니다. 키워드와 의미 검색을 함께 써서 찾고 답변마다 출처를 붙입니다.
그럴듯한 답보다
근거 있는 답이 필요합니다.
범용 LLM은 사내 규정을 모르고, 출처 없는 답은 업무에 쓸 수 없습니다. 문서를 외부로 보낼 수 없는 기관이라면 더욱 그렇습니다.
- 출처 인용
- 사내 규정
- 외부 반출 불가
- 일반 LLM은 사내 규정과 최신 문서를 모릅니다
- 출처 없는 답은 업무에 쓸 수 없습니다
- 사내 문서를 외부 클라우드로 보낼 수 없는 환경이 많습니다
일곱 단계로
답을 만듭니다.
문서는 청킹과 bge-m3 임베딩, 하이브리드 검색, 로컬 LLM 생성을 거치고, 답변의 문장마다 원문 출처가 연결됩니다.
- bge-m3
- BM25+RRF
- 출처 인용
-
01
문서 수집
PDF·DOCX·HWP·PPTX·XLSX와 스캔 이미지(OCR)까지 표·레이아웃 구조를 살려 모읍니다
-
02
청킹
의미 단위로 나누고 부모-자식 구조와 오버랩을 조정해 문맥을 보존합니다
-
03
임베딩(bge-m3)
다국어 임베딩 모델 bge-m3(1024차원)로 청크를 벡터로 변환합니다
-
04
pgvector(HNSW) 저장
PostgreSQL의 pgvector HNSW 인덱스에 담아 대규모 청크도 밀리초 단위로 탐색합니다
-
05
하이브리드 검색(BM25 + RRF)
키워드 검색(BM25)과 벡터 검색을 RRF로 융합해 놓치는 문서를 줄입니다
-
06
LLM 생성(Ollama)
검색된 근거를 컨텍스트로 넣어 Ollama로 로컬 LLM이 답변을 생성합니다
-
07
근거 인용
답변의 각 문장에 출처 [n]을 붙이고 클릭하면 원문 근거를 보여줍니다
이 수식들이
정확도를 만듭니다.
어텐션, 코사인 유사도, BM25, RRF, MMR처럼 검색과 생성 품질을 좌우하는 수식을 각각 어디에 어떻게 쓰는지 설명합니다.
- BM25
- RRF
- MMR
F.02 · Vector Search
Cosine Similarity · ANN
sim(q, d) = E(q) · E(d) ⁄ ( ‖E(q)‖ · ‖E(d)‖ )
임베딩 공간에서 의미가 가까운 문서를 찾습니다. HNSW 인덱스로 대규모 벡터도 근사 탐색해 밀리초 단위로 응답합니다.
F.03 · Lexical Score
Okapi BM25
BM25(D, Q) = Σi IDF(qi) · Ti Ti = tfi(k₁+1) ⁄ ( tfi + k₁(1−b+b·|D|⁄avgdl) )
TF-IDF를 발전시킨 키워드 매칭 방식입니다. 도메인 약어나 식별자처럼 의미 임베딩이 놓치는 단서를 잡아 주기 때문에 벡터 검색과 함께 쓰면 정확도가 올라갑니다.
F.04 · Hybrid Fusion
Reciprocal Rank Fusion
RRF(d) = Σi 1 ⁄ ( k + ranki(d) ) k = 60 (standard heuristic)
점수 스케일이 서로 다른 검색 결과를 순위만 보고 융합합니다. 따로 정규화하지 않아도 BM25와 벡터 검색 결과가 하나의 순위로 묶입니다.
F.05 · Diversification
Maximum Marginal Relevance
MMR = arg maxd [ λ·sim(d, q) − (1−λ)·maxj sim(d, dj) ]
관련성과 다양성을 함께 따져 문서를 고릅니다. 중복 청크를 걸러 내니 컨텍스트 윈도우가 낭비되지 않고 답변에 담기는 정보가 늘어납니다.
F.06 · RAG Eval
RAGAS Faithfulness
Faithfulness = | claims grounded in ctx | ⁄ | claims generated |
환각(hallucination)을 수치로 측정합니다. 답변의 모든 주장을 하나씩 쪼개 검색된 근거로 뒷받침되는 비율을 계산합니다.
연구 현장과 자체 플랫폼에서
근거 있는 답을 만들었습니다.
한국과학기술정보연구원의 LLM·RAG 사업과 LLMOps 플랫폼, 폐쇄망 RAG 플랫폼 Bailey RAG를 직접 설계하고 구축했습니다.
- KISTI
- KONI LLMOps
- Bailey RAG
-
2026 · KISTI
과학기술 연구 자동화 AI 에이전트 툴킷
폐쇄망 연구지원 플랫폼에서 문서 구조화, 텍스트·표·이미지·수식 추출, LLM·VLM·RAG·에이전트를 잇는 표준 API 구축 (진행중)
-
2025 · KISTI
KONI LLM·RAG 시스템 LLMOps 체계 개발
과학기술 특화 LLM의 학습데이터 생성·통합 검색, LLMOps 플랫폼 기능, AI 에이전트 개발·배포 플랫폼 개발
-
2024 · LLMOps
LLMOps 플랫폼 개발
거대언어모델(LLM) 개발·운영을 지원하는 LLMOps 플랫폼 구축
-
자체 개발
Bailey RAG · 폐쇄망 Private RAG 플랫폼
사내 문서를 근거로 인용해 답하고, 문서 등급별 권한 필터와 질의·업로드 감사 로그를 갖춘 설치형 RAG
탭을 눌러
Bailey RAG를 직접 써 보세요.
질의응답·대량 질의·보안 세 화면의 동작 흐름을 실제 제품 그대로 재현한 시뮬레이션입니다.
Query · 하이브리드 RAG
>
대외비 문서 포함 (권한 필터 적용)
1질의 임베딩bge-m3 · 1024-d
2하이브리드 검색BM25 + Vector(HNSW) · top-200
3RRF 융합reciprocal rank fusion · k=60
4재정렬 · 컨텍스트 구성top-8 · 권한 필터 적용
5LLM 생성 (스트리밍)Ollama · qwen2.5 · 100% local
6근거 인용 검증citation grounding · cite-span
Answer · 근거 인용 답변
대기 중…
듀얼 엔진 융합 기여도BM25 + Vector
Vector (의미)
BM25 (키워드)
대량 질의 · Stanford STORM 6단계 다관점 보고서
STEP 01
관점 발굴
주제에 대한 다양한 이해관계자 관점을 자동으로 찾습니다.
STEP 02
다관점 질문
관점마다 심층 질문을 만들어 검색 범위를 넓힙니다.
STEP 03
하이브리드 검색
BM25와 벡터 검색으로 사내 문서 근거를 모읍니다.
STEP 04
개요 구성
모은 근거로 보고서 구조를 설계합니다.
STEP 05
본문 작성
섹션마다 근거를 인용하며 본문을 씁니다.
STEP 06
핵심 요약
전체 보고서의 핵심을 요약해 마무리합니다.
대외비 외부전송 차단 흐름
📄대외비 근거 청크 선택됨등급: 대외비 · 권한 통과 사용자
▼
☁️외부 클라우드 LLM 호출 시도Claude API (옵션 백엔드)
▼
🛑거버넌스 정책 — 전송 자동 차단대외비 근거의 외부 전송 금지 · CRITICAL 기록
▼
🖥️로컬 Ollama로 폴백 · 답변 생성문서는 폐쇄망 밖으로 나가지 않음
감사 로그 (Audit Trail)
14:23:09CRITICAL대외비 근거 외부전송 차단 · doc=정보보안_관리지침_v3.2
14:23:08QUERY하이브리드 질의 실행 · 대외비 포함 · top-8
14:21:55UPLOAD문서 업로드 · 등급=대외비 · 인덱싱 완료
14:20:31GRADE등급 변경 · 일반 → 대외비 · 사용자=admin
14:18:02TOOLMCP 도구 호출 · arXiv 검색 · 결과 인덱스 적재
※ 위 데모는 실제 제품(Bailey RAG)의 동작 흐름을 재현한 시뮬레이션입니다.
서비스 4 / 멀티 에이전트
여러 에이전트가
역할을 나눠 일합니다.
조사와 작성, 검토, 승인을 사람 조직처럼 나눠 맡는 에이전트를 설계합니다. 에이전트에게는 사내 시스템을 도구로 쥐여 주고, 중요한 결정은 사람이 승인해야 넘어가게 만듭니다.
챗봇 하나로는
업무가 끝나지 않습니다.
답변만 하는 챗봇으로는 여러 시스템을 오가는 업무를 끝낼 수 없고, AI가 무엇을 근거로 실행했는지 기록도 남지 않습니다.
- 챗봇의 한계
- 다중 시스템
- 실행 기록
- 질문에 답해 주는 챗봇이 일까지 끝내 주지는 않습니다
- 여러 시스템을 오가는 업무는 프롬프트 한 번으로 처리되지 않습니다
- AI가 무엇을 근거로 무엇을 했는지 남아야 합니다
일은 나눠 맡기고
중요한 결정은 사람이 확인합니다.
업무 단계마다 에이전트와 권한을 정하고 사내 시스템을 MCP 도구로 연결하며, 금액·대외 발송 단계에는 승인 절차를 둡니다.
- MCP 도구
- 오케스트레이션
- 사람 승인
-
01
역할 설계
업무를 단계로 나누고 단계마다 맡을 에이전트와 권한을 정합니다
-
02
도구 연결
사내 시스템과 API를 MCP 도구로 연결해 에이전트가 직접 조회하고 실행합니다
-
03
오케스트레이션
작업을 나눠 맡기고, 실패하면 다시 배분하고, 결과를 모읍니다
-
04
사람 승인
금액·대외 발송처럼 중요한 단계는 사람이 확인한 뒤 진행합니다
에이전트가 늘어나도
멈추지 않도록.
부하에 따라 처리 모듈을 자동으로 늘리고, 장애가 나면 작업 큐와 상태를 넘겨 이어 가는 기술을 2026년 특허로 출원했습니다.
- 동적 오토스케일링
- 작업 복구
- 특허 출원
-
2026.06 · 특허 출원
자율 작업 처리 모듈 동적 오토스케일링·부하 분산
공유 상태 저장소의 리소스 프로파일링 기반 (출원번호 10-2026-0110008)
-
2026.06 · 특허 출원
작업 큐 재분배·상태 승계 기반 작업 복구
복수의 자율 작업 처리 모듈 간 (출원번호 10-2026-0109943)
서비스 5 / 파인튜닝
우리 업무 말투와 지식을
모델에 가르칩니다.
도메인 데이터셋을 만들고 LoRA·DPO로 모델을 조정한 뒤, 정확도와 근거성을 수치로 평가합니다. 바꾸기 전과 후를 같은 기준으로 비교합니다.
범용 모델은
우리 업무를 모릅니다.
범용 모델은 업계 용어와 문서 양식을 자주 틀립니다. 프롬프트 조정만으로는 품질이 안정되지 않고, 나아졌는지 확인하기도 어렵습니다.
- 업계 용어
- 품질 불안정
- 검증 부재
- 업계 용어와 문서 양식을 자주 틀립니다
- 프롬프트만으로는 품질이 안정되지 않습니다
- 모델을 바꿔도 좋아졌는지 확인할 방법이 없습니다
학습시킨 모델은
반드시 재고 비교합니다.
업무 문서로 데이터셋을 만들고 LoRA·DPO로 모델을 조정한 뒤, RAGAS 지표로 변경 전후를 같은 기준에서 비교합니다.
- LoRA
- DPO
- RAGAS
-
01
데이터셋 구축
업무 문서와 질의 기록으로 학습·평가 데이터를 만듭니다
-
02
LoRA 파인튜닝
적은 파라미터만 학습해 단일 GPU에서도 모델을 조정합니다
-
03
선호 정렬(DPO)
좋은 답과 나쁜 답의 쌍으로 답변 방식을 맞춥니다
-
04
평가·회귀 테스트
RAGAS 지표로 정확도·근거성을 재고 변경 전후를 비교합니다
모델 조정의
기준이 되는 수식.
LoRA는 일부 파라미터만 학습해 단일 GPU에서도 조정을 가능하게 하고, DPO는 선호 쌍만으로 답변 방식을 안정적으로 맞춥니다.
- LoRA
- QLoRA
- DPO
F.07 · PEFT
LoRA Low-Rank Adapter
W = W₀ + (α ⁄ r) · BA A ∈ ℝr×k, B ∈ ℝd×r, r ≪ d
전체 파인튜닝보다 10⁴× 적은 파라미터만 학습해 모델을 도메인에 맞춥니다. QLoRA의 NF4 양자화와 결합하면 48GB GPU 한 장으로도 65B급 모델을 미세조정할 수 있습니다.
F.08 · Alignment
Direct Preference Optimization
ℒDPO = − log σ ( β·Δw − β·Δl )
Δy = log π(y|x) ⁄ πref(y|x), y ∈ { yw, yl }
보상모델과 PPO 없이 선호 쌍만으로 모델을 직접 정렬합니다. 학습이 흔들리지 않고 컴퓨트도 적게 듭니다.
LLMOps 플랫폼으로
모델을 조정하고 평가했습니다.
LLM 개발·운영을 지원하는 LLMOps 플랫폼을 구축했고, 한국과학기술정보연구원 KONI LLM의 학습데이터 생성과 LLMOps 체계 개발도 수행했습니다.
- LLMOps
- KONI LLM
- 학습데이터
-
2024 · LLMOps
LLMOps 플랫폼 개발
거대언어모델(LLM) 개발·운영을 지원하는 LLMOps 플랫폼 구축
서비스 6 / 프라이빗 AI
데이터가 밖으로 나가지 않는
AI 인프라.
온프레미스 모델 서빙과 GPU 인프라를 설계해 망분리·폐쇄망 환경에서도 LLM을 운영합니다. 필요하면 퍼블릭 클라우드와 섞어 씁니다.
보안 때문에
AI를 못 쓰고 있다면.
공공·금융·의료 데이터는 외부로 보낼 수 없고, GPU 운영 인력과 잦은 모델 교체 부담까지 겹쳐 AI 도입이 멈춰 있습니다.
- 공공·금융·의료
- GPU 운영
- 모델 교체
- 공공·금융·의료 데이터는 외부로 보낼 수 없습니다
- GPU 서버를 들여도 운영할 사람이 없습니다
- 모델이 바뀔 때마다 시스템을 다시 만들 수는 없습니다
안에서 돌리고
필요할 때 클라우드와 섞습니다.
오픈소스 LLM을 내부 서버에서 서빙하고 사용량에 맞춰 GPU를 설계하며, 민감 데이터만 내부에 두는 하이브리드 구성도 지원합니다.
- Ollama 서빙
- GPU 설계
- 하이브리드 클라우드
-
01
온프레미스 LLM
오픈소스 LLM을 Ollama 등으로 내부 서버에서 서빙합니다
-
02
GPU 설계
사용량에 맞춰 GPU 구성과 배치를 설계합니다
-
03
하이브리드 클라우드
민감 데이터는 내부에, 나머지는 AWS·Azure·GCP에 둡니다
-
04
모델 교체
애플리케이션을 바꾸지 않고 모델만 갈아 끼울 수 있게 만듭니다
폐쇄망 안에서
AI를 직접 돌립니다.
NVIDIA Inception 멤버로서 폐쇄망 RAG 플랫폼 Bailey RAG를 직접 운영하며, 오프라인 번들과 Kubernetes로 망분리 환경에 배포합니다.
- NVIDIA Inception
- Bailey RAG
- 오프라인 번들
-
2023.02 · NVIDIA
NVIDIA Inception
NVIDIA AI 기업 지원 프로그램 멤버
-
자체 운영
폐쇄망 RAG 플랫폼 Bailey RAG
자체 기술로 설계·구축·운영
- Docker
- Kubernetes
- Offline Bundle
- PaaS-TA
- FastAPI
- PostgreSQL
- Redis
- ECharts
이 서비스에 쓰는 제품
서비스 7 / 운영·보안
안전하게,
계속 잘 돌아가게.
에이전트가 무엇을 묻고 답했는지 기록합니다. 프롬프트 공격과 개인정보 유출은 막고, 정확도와 비용은 매일 지켜봅니다.
만든 다음이
더 어렵습니다.
도입 이후에는 프롬프트 공격과 정보 유출, 눈에 띄지 않는 품질 저하, 예측하기 어려운 비용이 새로운 과제가 됩니다.
- 프롬프트 공격
- 품질 저하
- 비용 관리
- 프롬프트 공격과 정보 유출이 걱정됩니다
- 답변 품질이 언제 떨어졌는지 모릅니다
- 사용량과 비용이 예측되지 않습니다
공격은 막고 개인정보는 가립니다.
기록을 남기고 매일 지켜봅니다.
입출력 가드레일과 민감 정보 자동 마스킹, 질의·열람 감사 로그, 정확도·지연·비용 모니터링으로 운영 위험을 관리합니다.
- 가드레일
- 개인정보 마스킹
- 감사 로그
-
01
가드레일
프롬프트 인젝션과 금지 주제를 입력·출력 단계에서 막습니다
-
02
개인정보 마스킹
주민번호·연락처 같은 민감 정보를 자동으로 가립니다
-
03
감사 로그
누가 무엇을 묻고 어떤 문서를 봤는지 남깁니다
-
04
모니터링
정확도·지연·비용을 지켜보다가 기준을 벗어나면 알립니다
국세청 시스템과 의료 데이터를
안전하게 운영했습니다.
차세대 국세행정시스템을 중단 없이 운영·유지관리했고, 건양대학교병원과 비식별 의료데이터를 분석하는 K-Health 데이터 안심존을 구축했습니다.
- 국세청 NTIS
- 데이터 안심존
- 비식별 처리
-
2023–2024 · 건양대학교병원
K-Health 데이터 안심존 구축
비식별 의료데이터를 안전하게 분석하는 데이터 안심존 포털 구축
-
2024–2025 · 국세청
차세대 국세행정시스템(NTIS) 운영 유지관리
국가 핵심 세무 시스템을 중단 없이 운영·유지관리
- Ollama
- bge-m3
- bge-reranker
- Claude API
- PostgreSQL · pgvector
- Redis · RQ
- FastAPI
- Docker Compose
- Kubernetes
- Offline Bundle
- Electron
일하는 방식
검증을 마친 범위부터
전사로 넓힙니다.
데이터와 업무를 진단하고 PoC에서 정확도를 수치로 확인한 다음, 사내 시스템에 연결해 운영과 보안까지 함께 맡습니다.
- 진단
- PoC 검증
- 운영·보안
01
진단
데이터와 업무를 보고 에이전트가 풀 문제를 고릅니다
02
PoC
핵심 업무를 선정해 정확도를 수치로 검증합니다
03
구축
사내 시스템과 연결해 실제 업무에 넣습니다
04
운영
모니터링·평가·보안까지 함께 운영합니다
문의
데이터 위에서 일하는 에이전트,
우리 회사 업무부터 맡겨 보세요.
데이터를 어떤 에이전트로 바꿀지는 30분 상담에서 시작합니다. 효과는 2주 안에 파일럿으로 직접 확인할 수 있습니다.
- 01무료 AI 컨설팅30분 화상 미팅으로 방향 제시
- 02기술 검증 PoC2주 내 RAG·LLM 파일럿 구축
- 03맞춤 견적48시간 내 상세 제안서