社内・開発中
自然言語の質問を、セキュリティ・資産データを検索するSQLへ変換する社内サービスの品質改善です。
利用者の普段の質問を、業務用PostgreSQLを検索するSQLへ変換する社内サービスです。OMNIGuardで始めた改善を、成果が評価された後は別の製品領域へも広げました。約600テーブルの既存画面・ログ・SQLから正解条件を復元し、回答例、基本指示、評価質問を設計しました。
クラロンエックスは、利用者が普段の言葉で質問すると、セキュリティ製品や社内資産の情報を検索して返すサービスです。データベースの構造を知らない利用者にも、現在の設置状況や最新履歴に沿った答えを返す必要がありました。
LSwareでは、まずOMNIGuardの製品領域を対象に回答例を追加する仕事を任されました。初期成果が評価され、同じ改善手順を別の製品領域へも広げました。回答例は利用者の質問と正解SQLを一組にしてAIへ見せる資料ですが、対象は十分に文書化されていない約600テーブルの業務DBで、どのテーブルと条件が正解なのかを示す資料も揃っていませんでした。
最初はどこから正解を決めればよいのか戸惑いました。SQLが実行できても、削除済みの情報や古い履歴を選べば利用者には誤答になるため、例を増やす前に製品の動作から正解条件を復元する必要がありました。
回答を確かめる流れ
曖昧な質問を、確認できる検索結果へ変えるまで
同じ意味でも異なる言い方
ログ・DDL・既存SQLから確認
基本指示＋回答例
文法と業務上の意味を確認
PostgreSQLの結果まで確認
質問–SQL回答例を約176件整備し、回答例から分離したホールドアウト評価80問すべてで期待SQLの基準を満たしました。
社内プロジェクトのため、リポジトリ、SQL、プロンプト、評価データは非公開です。
文書がないときは理想モデルを推測するより、ログと実際の動作から根拠を集めるようになりました。例を増やす前に、エラー分類と評価基準を作るようにもなりました。
80/80は、限定した社内製品範囲と評価セットでの結果です。他の顧客スキーマや、あらゆる自然言語質問に対する一般的な精度を示すものではありません。