RAG System — CODEBAILEY

RAG 시스템 구축 지능형 검색의 새 기준

기업 문서와 데이터를 AI가 이해하고 검색할 수 있는 Retrieval-Augmented Generation 시스템을 구축합니다. BM25와 의미 검색을 RRF로 결합한 하이브리드 검색과 근거 인용으로 신뢰할 수 있는 답변을 제공합니다. 폐쇄망 설치형 Private RAG 플랫폼 Bailey RAG를 직접 개발·운영한 경험을 바탕으로 합니다.

왜 폐쇄망 Private RAG인가

공공기관 · 금융 · 국방처럼 민감 데이터를 다루는 조직에게 외부 클라우드 RAG는 선택지가 되기 어렵습니다. Bailey RAG는 임베딩 · 검색 · 생성의 모든 과정이 기관 내부에서 끝납니다 — 문서도, 질의도, 답변도 외부망으로 나가지 않습니다.

실제 콘솔 화면 미리보기

폐쇄망에서 실제 동작하는 Bailey RAG 콘솔의 핵심 기능 화면 10개를 아래로 스크롤하며 차례대로 둘러보세요. 질의응답·STORM 파이프라인은 실제 동작 흐름을 그대로 재현한 인터랙티브 데모로, 화면이 보이면 자동으로 재생됩니다.

💬 질의응답 · 하이브리드 RAG

업로드한 사내 문서를 근거로 인용([n]) 답변을 생성합니다. 벡터(의미)와 BM25(키워드)를 RRF로 융합한 하이브리드 검색 6단계 파이프라인이 실시간으로 동작하며, 인용 클릭 시 원본 근거를 하이라이트합니다.

Layer 3 · AI 질의

bailey-rag · localhost:8800/qa 100% LOCAL

Query · 하이브리드 RAG

대외비 문서 포함 (권한 필터 적용)

1질의 임베딩bge-m3 · 1024-d

2하이브리드 검색BM25 + Vector(HNSW) · top-200

3RRF 융합reciprocal rank fusion · k=60

4재정렬 · 컨텍스트 구성top-8 · 권한 필터 적용

5LLM 생성 (스트리밍)Ollama · qwen2.5 · 100% local

6근거 인용 검증citation grounding · cite-span

Answer · 근거 인용 답변

대기 중…

🧬 벡터 DB · 임베딩 공간 탐색

pgvector(HNSW) 임베딩 공간을 2D로 투영해 청크 분포와 의미 클러스터, 쿼리의 최근접 이웃(top-k)을 시각적으로 탐색합니다. 인덱스 구성과 유사도 상위 청크를 함께 확인합니다.

Layer 4 · 저장소

bailey-rag · localhost:8800/vector 100% LOCAL

벡터 DB · pgvector(HNSW) 임베딩 공간 탐색

임베딩 공간 (UMAP 2D 투영) · 38.6K 청크 · bge-m3 1024-d

연구·기술 보안·대외비 정책·절차 운영·표준 쿼리 · top-k 이웃

HNSW 인덱스 구성

임베딩 모델 bge-m3 · 1024-d

m (이웃 수) / ef_search 16 / 64

거리 함수 cosine

top-5 검색 지연 28 ms

최근접 청크 · 유사도 상위

#1KISTI_차세대_RAG_기술백서.pdf · chunk 42일반0.92

#2정보보안_관리지침_v3.2.pdf · chunk 18대외비0.89

#3bge-m3_임베딩_벤치마크.pdf · chunk 7일반0.86

🔒 보안 · 감사 거버넌스

대외비 등급 근거의 외부 클라우드 전송을 거버넌스 정책으로 자동 차단하고 로컬 모델로 폴백합니다. 모든 질의·업로드·등급변경·차단 이벤트는 감사 로그(Audit Trail)에 기록되어 추적됩니다.

거버넌스

bailey-rag · localhost:8800/security 100% LOCAL

대외비 외부전송 차단 흐름

📄대외비 근거 청크 선택됨등급: 대외비 · 권한 통과 사용자

▼

☁️외부 클라우드 LLM 호출 시도Claude API (옵션 백엔드)

▼

🛑거버넌스 정책 — 전송 자동 차단대외비 근거의 외부 전송 금지 · CRITICAL 기록

▼

🖥️로컬 Ollama로 폴백 · 답변 생성문서는 폐쇄망 밖으로 나가지 않음

감사 로그 (Audit Trail)

14:23:09CRITICAL대외비 근거 외부전송 차단 · doc=정보보안_관리지침_v3.2

14:23:08QUERY하이브리드 질의 실행 · 대외비 포함 · top-8

14:21:55UPLOAD문서 업로드 · 등급=대외비 · 인덱싱 완료

14:20:31GRADE등급 변경 · 일반 → 대외비 · 사용자=admin

14:18:02TOOLMCP 도구 호출 · arXiv 검색 · 결과 인덱스 적재

🌀 STORM · 다관점 보고서

주제만 입력하면 Stanford STORM 6단계(관점 발굴 → 다관점 질문 → 하이브리드 검색 → 개요 구성 → 본문 작성 → 핵심 요약)로 다관점 보고서를 근거 인용과 함께 자동 생성합니다.

Layer 3 · AI 생성

bailey-rag · localhost:8800/storm 100% LOCAL

Stanford STORM · 6단계 다관점 보고서 생성

STEP 01

관점 발굴

주제에 대한 다양한 이해관계자 관점을 자동 도출합니다.

STEP 02

다관점 질문

각 관점별 심층 질문을 생성해 검색 범위를 확장합니다.

STEP 03

하이브리드 검색

BM25 + 벡터 검색으로 사내 문서 근거를 수집합니다.

STEP 04

개요 구성

수집된 근거를 바탕으로 보고서 구조를 설계합니다.

STEP 05

본문 작성

섹션별 본문을 근거 인용과 함께 작성합니다.

STEP 06

핵심 요약

전체 보고서의 핵심 요약을 생성해 마무리합니다.

📊 운영 대시보드 · 실시간 관제

인덱싱 문서·벡터 청크·처리 작업·로드 모델 등 핵심 지표와 구성요소(postgres·redis·api·worker·ollama) 헬스, 모델 Hot-swap 무중단 교체 상태를 실시간으로 관제합니다.

Layer 1 · 관제

bailey-rag · localhost:8800/dashboard 100% LOCAL

운영 관제 · 실시간 모니터링

인덱싱 문서

1,284 docs

벡터 청크

38.6 K

처리 작업 (RQ)

3 active

로드된 모델

qwen2.5:3b

구성요소 상태

postgres (pgvector) healthy

redis healthy

api (FastAPI) healthy

worker (RQ) healthy

ollama healthy

모델 Hot-swap

Preload ✓ done

Warmup ✓ done

Switch ✓ done

Drain 무중단 교체

📈 평가 · 품질

Faithfulness·Answer Relevancy·Recall@5 등 RAG 답변 품질 지표를 추적하고, 모델별 만족도 비교와 👍/👎 사용자 피드백을 수집해 검색·생성 품질을 지속적으로 개선합니다.

Layer 3 · 품질

bailey-rag · localhost:8800/eval 100% LOCAL

평가·품질 · RAG Eval · 사용자 피드백

Faithfulness

0.94

Answer Relevancy

0.91

Recall@5

0.88

사용자 만족도

92 %

모델별 만족도 비교

qwen2.5:3b (local) 92%

llama3.1:8b (local) 89%

qwen2.5:14b (local) 94%

Claude (옵션 · DMZ) 96%

최근 사용자 피드백

👍 인용 근거 정확 · 보안 질의 helpful

👍 STORM 보고서 구조 양호 helpful

👎 표 데이터 누락 · 재색인 필요 review

👍 한국어 답변 자연스러움 helpful

📁 파일 관리 · 인덱싱

PDF·DOCX·HWP·이미지(OCR) 문서를 올리면 파싱 → 청킹 → 임베딩(bge-m3) → 인덱싱이 자동 진행됩니다. 문서별 형식·보안 등급·청크·용량과 인덱싱 진행률을 한눈에 확인합니다.

Layer 2 · 지식 구축

bailey-rag · localhost:8800/files 100% LOCAL

파일 관리 · 업로드 → 파싱 · 청킹 · 임베딩 · 인덱싱

⬆

문서를 끌어다 놓거나 클릭하여 업로드PDF · DOCX · HWP · PPTX · XLSX · MD · TXT · 이미지(OCR) — 최대 200MB

파일 선택

문서명형식등급청크용량상태

📄KISTI_차세대_RAG_플랫폼_기술백서.pdf PDF일반31228 MB 인덱싱 완료

🔒2026_정보보안_관리지침_v3.2.pdf PDF대외비14812 MB 인덱싱 완료

📄개인정보_비식별화_절차서.hwp HWP일반964 MB 인덱싱 완료

🖼️아키텍처_다이어그램_v2.png OCR일반112 MB 인덱싱 완료

📄Self-RAG_2310.11511.pdf PDF일반—6 MB 임베딩 73%

🗂️ 워크스페이스 · 멀티 컬렉션

팀·프로젝트별 독립 컬렉션으로 지식베이스를 분리 운영합니다. 컬렉션마다 독립 인덱스와 RBAC 권한 격리·보안 등급 상속이 적용되고, 교차 컬렉션 검색은 차단됩니다.

Layer 2 · 격리

bailey-rag · localhost:8800/workspaces 100% LOCAL

워크스페이스 · 팀·프로젝트별 멀티 컬렉션 (독립 인덱스 · RBAC 격리)

🔬RBAC

연구본부 지식베이스

42 docs·96K chunks

김이박+9

독립 인덱스

🔒대외비

보안팀 컬렉션

18 docs·41K chunks

정한+3

교차검색 차단

⚖️대외비

법무·계약

15 docs·33K chunks

최윤

등급 상속 on

📘RBAC

공통 가이드

38 docs·87K chunks

장오서+24

전사 공유

📑RBAC

RFP 아카이브

11 docs·24K chunks

강임+6

독립 인덱스

＋새 워크스페이스

🔌 MCP · 외부 학술 연계

arXiv·ScienceON·NTIS 등 외부 학술 DB를 MCP 도구로 검색하고, 결과를 동일한 인덱싱 파이프라인으로 사내 지식베이스에 적재합니다. 외부 연계만 DMZ로 분리됩니다.

DMZ · 외부 연계

bailey-rag · localhost:8800/mcp 100% LOCAL

MCP 외부 학술 연계 · arXiv · ScienceON · NTIS

연동 도구

arXiv 검색

1.2 K

인덱스 적재

86 docs

도구 호출

312

arXiv 검색 결과 → 사내 인덱스 적재

↓Self-RAG: Learning to Retrieve, Generate, Critique (2310.11511)arXiv적재됨

↓RAG for Knowledge-Intensive NLP Tasks (2005.11401)arXiv적재됨

↓HNSW · Efficient and robust ANN search (1603.09320)arXiv적재됨

MCP 도구 상태

arxiv.search active

scienceon.search 키 설정 필요

ntis.search 키 설정 필요

적재 경로 동일 인덱싱 파이프라인

⚙️ 설정 · 런타임 파라미터

청킹(chunk_size·overlap·parent-child), 검색(top_k·RRF·리랭커), 생성(model·temperature·streaming), 거버넌스(인용 강제·환각 억제·대외비 차단) 런타임 파라미터를 코드 수정 없이 조정합니다.

시스템

bailey-rag · localhost:8800/settings 100% LOCAL

설정 · 검색 · 생성 · 청킹 런타임 파라미터

청킹 (Chunking)

chunk_size 800 tokens

overlap 120 tokens

전략 의미 기반 분할

parent-child on

검색 (Retrieval)

top_k 8

RRF k 60

α · vector 가중치 0.6

리랭커 (bge-reranker-v2-m3) on

생성 (Generation)

model qwen2.5:3b

temperature 0.2

max_tokens 1024

streaming on

시스템 프롬프트 · 거버넌스

근거 인용 [n] 강제 on

환각 억제 (근거 밖 차단) on

한국어 우선 응답 on

대외비 외부전송 차단 on

※ 위 화면은 실제 제품(Bailey RAG)의 동작 흐름을 재현한 인터랙티브 데모 시뮬레이션입니다.

RAG 시스템 구축 지능형 검색의 새 기준

왜 폐쇄망 Private RAG인가

유출 경로 0

컴플라이언스

예측 가능

도메인 정확도

RAG PipelineArchitecture

검증된 RAG 엔지니어링 기법

🔎 하이브리드 검색

🎯 Cross-Encoder 리랭킹

✂️ 청킹 전략

🧭 쿼리 변환

📑 근거 인용 · 환각 차단

🧬 벡터 인덱스

🪟 컨텍스트 최적화

📈 RAG 평가

🌀 다관점 보고서 (STORM)

🔁 멀티턴 · 대화 메모리

🗂️ 메타데이터 필터 검색

🧩 문서 파싱 · OCR

핵심 화면 기능

💬 질의응답 (하이브리드 RAG)

🌀 STORM 보고서

📁 파일 관리 · 인덱싱

🧬 벡터 DB (pgvector)

🛡️ 보안 · 감사 거버넌스

💻 로컬 · 오프라인 & 운영

실제 콘솔 화면 미리보기

💬 질의응답 · 하이브리드 RAG

🧬 벡터 DB · 임베딩 공간 탐색

HNSW 인덱스 구성

최근접 청크 · 유사도 상위

🔒 보안 · 감사 거버넌스

🌀 STORM · 다관점 보고서

관점 발굴

다관점 질문

하이브리드 검색

개요 구성

본문 작성

핵심 요약

📊 운영 대시보드 · 실시간 관제

구성요소 상태

모델 Hot-swap

📈 평가 · 품질

모델별 만족도 비교

최근 사용자 피드백

📁 파일 관리 · 인덱싱

🗂️ 워크스페이스 · 멀티 컬렉션

연구본부 지식베이스

보안팀 컬렉션

법무·계약

공통 가이드

RFP 아카이브

🔌 MCP · 외부 학술 연계

arXiv 검색 결과 → 사내 인덱스 적재

MCP 도구 상태

⚙️ 설정 · 런타임 파라미터

청킹 (Chunking)

검색 (Retrieval)

생성 (Generation)

시스템 프롬프트 · 거버넌스

Private RAG로 무엇을 만들 수 있나

기관 보안 요구를 충족하는 거버넌스

🏷️ 문서 보안 등급

🔐 권한 필터 검색

🫥 동적 PII 마스킹

🛑 외부 전송 자동 차단

🧾 변조 불가 감사 로그

👥 권한 매트릭스

🗂️ 워크스페이스 격리

🔑 SSO · IdP 연동

100% 로컬에서 동작하는 검증된 스택

🧠 로컬 LLM

🧬 임베딩 · 리랭킹

🗄️ 벡터 · 키워드

⚙️ 인프라

📄 파싱 · 청킹

🖥️ GPU · CPU 유연성

폐쇄망 어디든 설치되는 배포 · 통합

📦 오프라인 번들

RAG Pipeline
Architecture

검증된 RAG
시스템 구축