-
Step 2 - 찾기
노래 가사 의미검색 실험: 필터 + 벡터 정렬 ( PostgreSQL을 곁들인 )
🎯 목표사랑 관련 노래 중에서, “의미(감정/상황)가 비슷한 가사”를 찾아보고 싶었다.조건 A: 사랑이 들어가는 가사 중 다시는 없을 최고의 행복 느낌이랑 가까운 가사 찾기조건 B: 사랑이 들어가는 가사 중 그 어떤 고통보다 더 큰 아픔 느낌이랑 가까운 가사 찾기핵심은 이거:🔤 **FTS(키워드 검색)**로 “사랑이 진짜 들어간 문장”만 먼저 걸러놓고🤔 **벡터 유사도(시맨틱)**로 그 안에서 “내가 원하는 의미”에 가까운 걸 위로 올리기💽 데이터사랑 노래 33곡곡 리스트/아티스트/발매년도/장르 등 33개는 너무 길어서 마지막에 넣겠습니다....🛠️ 사용 도구(정리)Python곡/가사 원문 수집 및 1차 정제(개행/특수문자/중복 등)Excel원문 검수/정리(사람이 보기 좋게)🧩 청크 분할 규칙..
-
Step 2 - 찾기
AI 검색: 하나의 질문이 정답 후보를 찾아가는 여정
모든 위대한 여정은 하나의 질문에서 시작된다. 이 글은 지금까지 흩어져 있던 '찾기(Finding)'의 조각들을 한 줄의 여정으로 다시 엮어,질문이 도착한 순간부터 후보가 확정되는 순간까지를 한 번에 지나가게 만드는 정리입니다. 다만 길을 걷다 보면 낯선 표지판을 만나기도 합니다. RAG와 LLM 같은 단어들입니다.여기서는 그 표지판의 사전적 의미보다, 이 여정에서 어디를 가리키는지부터 먼저 간략히 설명 하겠습니다.RAG는 '근거를 먼저 찾고(Retrieval): - 그 근거를 바탕으로 답을 만든다(Generation)'는 구조를 말합니다.LLM(Large Language Model, 대규모 언어 모델): - 그 근거를 읽고 문장으로 답을 만들어 내는 '답하기(Generation)'의 엔진입니다...
-
Step 2 - 찾기
🧪 평가/개선(Evaluation & Improvement): 좋아졌는지 '증명'하고 다음 개선으로 연결하기
좋아졌다는 증명이 시리즈에서 말하는 'AI 검색'은 흔히 'RAG(Retrieval-Augmented Generation)'로 불리는 흐름을 포함합니다. 즉, 답을 만들기 전에 먼저 관련 근거를 '찾고(Retrieval)', 그 근거를 바탕으로 '답을 생성(Generation)'하는 구조입니다.이번 글은 그중에서도 "좋아졌는지"를 객관적으로 설명하기 위한 '평가/개선'에 집중합니다. 우리는 '찾기(Finding)'의 마지막 지점에 와 있습니다. 🎯 리랭킹 이후 운영 관점에서는 경로가 두 갈래로 열립니다.실행 경로: 🎯 리랭킹 결과를 다음 단계(🍱 컨텍스트 포장 + 🧷 생성 인터페이스)로 넘겨 답을 만든다검증 경로: 🎯 리랭킹 결과가 실제로 좋아졌는지 측정해 다음 개선으로 연결한다(🧪)이 시리즈..
-
Step 2 - 찾기
🎯 리랭킹(Re-ranking): 후보를 다시 읽고 '진짜 순서'로 정렬하기
이미 모인 후보의 우선순위 정하기 리랭킹은초기 검색 단계에서 모은 후보군을 다시 평가해,질의에 가장 관련성 높은 '최종 순서'를 확정하는 단계입니다. 🧭 전체 AI 검색 흐름에서의 위치🔤 키워드 검색 → 🤔 의미 검색 → ⚖️ 결합 → 🎯 리랭킹 → 🧪 평가/개선준비(Preparation)🧩 청킹(Chunking): 원본 문서를 의미 있는 단위로 분할🏷️ 메타데이터(Metadata): 출처/날짜/분류 등 부가 정보 태깅🧠 임베딩(Embedding): 각 청크를 벡터로 변환(의미 공간에 배치)찾기(Finding > Retrieval & Ranking)Retrieval(후보 만들기) 🔤 키워드 후보군(Sparse candidates): BM25 등 키워드 기반 검색🤔 의미 후보군(Dens..
-
Step 2 - 찾기
⚖️ 결합 로직: 후보군을 '공정하게' 합치는 하이브리드의 핵심 (Linear vs RRF)
후보군의 "공정한 결합" '🔤 키워드 검색'과 '🤔 의미 검색'이라는 서로 다른 두 엔진의 결과를 합칠 때,점수 스케일 차이로 생기는 편향 문제를 설명하고, 이를 해결하는 대표적 접근인 **Linear Combination(정규화 후 가중합)**과**Reciprocal Rank Fusion(RRF, 순위 기반 융합)**을 비교해"상황별로 어떤 결합이 더 적합한지"를 정리합니다.🧭 전체 검색 흐름에서 ‘결합’의 위치하이브리드/RAG 파이프라인에서 **결합(Combination)**은 '찾기' 단계의 중심에 있습니다.서로 다른 방식으로 뽑힌 후보를하나의 일관된 후보 리스트로 통합해,다음 단계(리랭킹/생성)가 안정적으로 움직이게 만드는 다리 역할을 합니다.준비(Preparation)🧩 청킹(Chunk..
