会話を読むたびにAIを呼ぶと、費用と待ち時間が会話の量に比例して増えます。
減らしすぎると業務の取りこぼしが増えます。抽出の質を保ちながら、呼び出しの回数と渡す量を減らす必要がありました。
既存の業務と照らし合わせるときは、モデルが実際に読む項目だけを渡し、確認は元のデータで別に行うようにしました。リアルタイム抽出は、会話が30秒止まるたびに呼んでいたのを、2分止まったところ(最長10分)でまとめて呼ぶ形に変え、笑いや絵文字だけのメッセージでは呼ばないようにしました。
2026年10月22日の変更で、1時間ごとのDiscord照合1回あたりの入力トークンは平均202,472から104,074へ約49%減りました(変更前後それぞれ4回の平均)。リアルタイム抽出は、直前24時間の実際のメッセージ1,854件で規則だけを変えて再現した試算で、229回から103回へ55%減りました(再現の元になった実際の呼び出しは231回)。その代わり、抽出までの平均待ち時間は約4.9分になります。
実装の詳細を見る
- 照合にはモデルが読む項目だけを渡し、確認は元データで実施
- 抽出は2分の静けさ(最長10分)でまとめて呼び出し
- 笑い・絵文字だけのメッセージでは呼び出さない
AIの費用と速さは、モデルの選び方より、いつ何を渡すかで大きく変わること、そして減らすたびに待ち時間とのトレードオフを数字で確かめる必要があることを学びました。