사내·개발 중
일상적인 질문을 보안·자산 데이터를 조회하는 SQL로 바꾸는 사내 서비스의 품질을 개선했습니다.
사용자의 일상적인 질문을 업무용 PostgreSQL 조회 SQL로 바꾸는 사내 서비스입니다. OMNIGuard 단일 제품에서 시작해 성과를 바탕으로 다른 제품군까지 담당을 넓히며, 약 600개 테이블의 기존 화면·로그·SQL에서 정답 조건을 복원하고 답안 예시, 기본 지시, 평가 질문을 설계했습니다.
클라론엑스는 사용자가 평소 쓰는 말로 질문하면 보안 제품과 사내 자산 정보를 찾아주는 서비스입니다. 데이터베이스 구조를 모르는 사용자에게도 현재 설치 상태와 최신 이력에 맞는 답을 돌려줘야 했습니다.
LSware에서는 먼저 OMNIGuard 단일 제품을 대상으로 답안 예시(Few-shot)를 추가하는 일을 맡았습니다. 초기 성과를 인정받아 같은 개선 과정을 다른 제품군까지 넓혔습니다. 답안 예시는 사용자의 질문과 정답 SQL을 한 쌍으로 묶어 AI에 보여주는 자료지만, 대상은 충분히 문서화되지 않은 약 600개 테이블의 업무 DB였고 어떤 테이블과 조건이 정답인지 알려 주는 자료도 정리돼 있지 않았습니다.
처음에는 어디서부터 정답을 정해야 할지 막막했습니다. SQL이 실행되더라도 삭제된 정보나 오래된 이력을 고르면 사용자에게는 오답이기 때문에, 예시를 늘리기 전에 실제 제품 동작에서 정답 조건부터 복원해야 했습니다.
답을 검증하는 흐름
모호한 질문을 검증할 수 있는 검색 결과로 바꾸는 과정
같은 뜻의 다양한 표현
로그·DDL·기존 SQL로 확인
System Prompt + Few-shot
문법과 업무 의미 확인
PostgreSQL 결과까지 확인
답안 예시(Few-shot)를 약 176개 구축했고, 예시와 분리한 홀드아웃 평가 80문항 모두에서 기대 SQL 기준을 충족했습니다.
사내 프로젝트이므로 리포지토리, SQL, 프롬프트, 평가 데이터는 공개하지 않습니다.
문서가 부족할 때 이상적인 구조를 추측하기보다 로그와 실제 동작에서 근거를 찾게 됐습니다. 또한 예시를 늘리기 전에 오류 유형과 평가 기준부터 정의하게 됐습니다.
80/80은 한정된 사내 제품 범위와 평가셋에서 얻은 결과입니다. 다른 고객 스키마나 모든 자연어 질문에 대한 일반적인 정확도를 뜻하지 않습니다.