RAG 텍스트
마크다운을 헤딩 경로를 지키며 검색용 조각으로 나눈다. 코드펜스·표·목록을 자르지 않고, 최소·최대 크기와 겹침을 지킨다. 임베딩 입력 만들기, RRF 로 검색 결과 합치기, 코사인 유사도. 밖에 묻지 않고 브라우저에서도 돈다
npm install @duolabs-deux/unit-rag-text
직접 넣어 보기
조각 3개
#1 · 설치 안내 > 요구 사항 · 96자
노드 24 이상이 필요합니다. 윈도에서는 WSL 을 권합니다. ## 명령 ```bash # 의존성 설치 npm install # 개발 서버 npm run dev ```
#2 · 설치 안내 > 설정 · 78자
| 이름 | 기본값 | 설명 | |---|---|---| | PORT | 3000 | 듣는 포트 | | LOG | info | 기록 수준 |
#3 · 자주 묻는 것 · 54자
- 포트를 바꾸려면 PORT 를 바꿉니다. - 기록을 줄이려면 LOG 를 warn 으로 둡니다.
어댑터
없다. 밖에 묻지 않고 입력만으로 결정적으로 답한다.
실패와 소비 앱이 할 일
| 종류 | 언제 | 할 일 |
|---|---|---|
invalid-input | 청킹·병합 옵션이 범위를 벗어났을 때(target 0 이하, max < target, overlap >= target, k 음수 등) | 옵션을 고치는 화면이면 그 칸 아래에 메시지를 보여 준다 |
한도
- 기본 크기 단위는 토큰 근사(글자 수 / 2.2)다. 모델 입력 한도를 지켜야 하면 그 모델의 토크나이저를 measure 로 넣는다
- 헤딩은 # 형(ATX)만 읽는다. 밑줄형(Setext) 헤딩과 HTML 블록은 일반 문단으로 다룬다
- 임베딩을 만들거나 벡터 DB 에 묻지 않는다