2026.08.26

RAGの回答精度を改善する方法｜社内文書・質問・設定の見直し5ポイント

RAGを導入したものの、「質問と関係のない文書を参照する」「古い規程を基に回答する」「該当する文書があるのに回答できない」といった問題に直面する企業は少なくありません。

こうした問題は、LLMの性能だけで決まるものではありません。登録文書の構造、文書の更新状況、質問の変換方法、検索設定、評価方法など、RAGを構成する複数の要素が回答精度に影響します。本記事では、質問に関連する文書を取得できる度合いを「検索精度」、取得した文書を根拠に適切な回答を生成できる度合いを「回答精度」と呼び、社内文書を利用するRAGを対象に、5つの見直しポイントを解説します。

RAGの回答精度が低くなる原因

文書準備の問題

RAGの精度が低くなる代表的な原因の一つが、登録する文書の準備不足です。チャンク化（文書の分割）が適切でないと、意味的なまとまりが分断され、回答に必要な前後関係が一つの検索結果に含まれにくくなります。例えば、規程の適用条件と例外事項が別々のチャンクに分割されると、片方だけを参照して不完全な回答を生成する可能性があります。

また、データソースが古い場合や、PDF、画像などが適切に処理されていないと、重要な情報が検索対象から漏れてしまいます。RAGでは、質問に関連する文書を検索し、その内容を回答生成時の根拠として利用するため、検索対象となる社内文書の品質が回答精度を左右します。

質問方法とトークン制約

ユーザーの質問が複雑・会話的・あいまいで、文書内の用語と一致しない場合、キーワード検索だけでは適切な情報を取得しにくいことがあります[1]。

加えて、LLMが一度に処理できるトークン数には上限があります。また、上限内でも大量の文書をそのまま渡すと、不要な情報が回答に影響したり、処理時間やコストが増えたりする可能性があります。質問との関連性が高い情報を選んで提示する必要があります[1]。

ポイント1：文書の正本・更新状況を管理する

データの定期更新と同期

RAGの精度を維持するには、社内文書の追加・変更・削除を検索インデックスへ反映する仕組みが不可欠です。原本の更新時や定期的な同期処理によって、文書の追加・変更・削除を検索インデックスへ反映し、検索対象を最新の状態に保ちます[2]。

現行版と旧版を区別し、原則として現行版を優先して検索できるように設計します。文書の状態をメタデータとして保持し、検索時に正本と草案を区別できるように設計してください。

データソースの品質管理

社内規程や手順書では、承認済みの正本を優先して検索できるようにします。草案や参考資料も登録する場合は、「承認済み」「草案」「参考資料」といった文書の状態をメタデータとして保持し、回答時に混同しないように設計してください。

複数のデータソースを統合する場合は、重複文書や矛盾する情報を整理し、どの情報源を優先するかを決めておきます。例えば、部門内のメモよりも全社規程を優先するなど、文書区分に応じた優先順位を設定します。

ポイント2：チャンクとメタデータを設計する

チャンク化の設計

チャンクサイズやオーバーラップ率に、すべての文書へ適用できる正解はありません。一定の初期値から検証を始め、文書の種類ごとに評価して調整します。文書を分割する際は、意味的なまとまりを維持することが重要です。段落の途中で分割したり、表やリストを分断したりしないよう注意してください。

メタデータとアクセス権限の設定

文書のタイトル、作成日、更新日、部門、カテゴリなどのメタデータを付与することで、検索時のフィルタリングが可能になり、関連性の高い情報を効率的に取得できます[1]。

文書にアクセス権限情報を持たせ、検索時にユーザーや所属グループの権限と照合して、閲覧可能な文書だけを取得する仕組みも必要です。権限情報をメタデータとして登録するだけでなく、検索処理で確実に適用されているかを検証してください[4]。

ポイント3：質問・プロンプトを設計する

明確なプロンプト設計

プロンプトの設計を見直すことで、RAGの回答精度を改善しやすくなります。RAGの回答生成に使用するプロンプトでは、取得した文書を根拠に回答すること、根拠が見つからない場合の対応、回答形式、出典の示し方などを明確に指定します[5]。

利用者が質問する際は、対象者、知りたい項目、参照してほしい文書を明確にします。例えば、「休暇について教えて」ではなく、「就業規則を根拠に、正社員が利用できる特別休暇の種類と申請期限を回答してください」と指定することで、検索対象を絞り込みやすくなります。

複数の条件を含む質問では、システム側で質問をサブクエリに分割し、検索結果を統合することで、必要な情報を取得しやすくなります。

質問の変換とコンテキスト構築

検索で取得した関連文書を、ユーザーの質問とともに回答生成用のプロンプトへ含めることで、LLMは社内文書を根拠に回答できます[3]。ただし、関連性の高い情報を優先的に提示し、トークン制約を考慮しながら最も重要な情報を含めてください。

会話型のRAGでは、直前の質問や回答を参照し、省略表現を補完することも有効です。エージェント型RAG（Agentic RAG）では、会話履歴を踏まえて質問を複数の検索クエリに分解できます[1]。

ポイント4：検索・リランキング設定を調整する

ハイブリッド検索の実装

ハイブリッド検索は、RAGの検索精度を改善する有力な方法です。キーワード検索とベクター検索を組み合わせることで、製品番号や規程名などの完全一致が必要な質問と、言い換えを含む質問の両方に対応しやすくなります[1][6]。ハイブリッド検索では、キーワード検索とベクター検索を並行して実行し、それぞれの検索結果を統合して順位付けします。

キーワード検索は正確な用語マッチングに強く、ベクター検索は意味的な類似性の把握に優れています。両方を組み合わせることで、それぞれの弱点を補い合い、検索漏れを減らしながら、関連性の高い文書を取得しやすくなります[1][7]。

リランキングと取得件数の調整

検索後にリランカー（再順位付け）を適用すると、質問との意味的な関連性に基づいて結果を並べ直せます。例えばAzure AI Searchのセマンティックランカーは、初期検索の上位候補を二次的にランク付けします[8]。

検索件数を増やしすぎると不要な情報が混ざりやすくなり、絞りすぎると必要な情報を取得できない可能性があります。取得件数やスコアしきい値は、代表的な質問セットを使って調整してください。

ポイント5：検索と回答を分けて評価する

定量的・定性的評価指標

RAGの精度を継続的に改善するには、適切な評価指標の設定が不可欠です。RAGの評価は、検索と回答生成を分けて行います。

検索側では、正解となる関連文書のうち上位k件に取得できた割合を示すRecall@k、上位k件のうち関連文書が占める割合を示すPrecision@k、最初の正解文書が上位に現れるほど評価が高くなるMRRなどを確認します[9]。

回答生成側では、回答の正確性、質問への関連性、取得文書に根拠があるかを示す忠実性、引用先が回答内容を適切に裏付けているかなどを評価します[9]。回答中の各主張が、取得した文書によって裏付けられているかを確認することも重要です。

実務的な評価とモニタリング

実務的な評価指標として、カスタマーサポートでの自己解決率、ユーザー満足度、タスク完了率など、業務目標に直結する指標も設定します。

本番とは切り離した検証環境で、代表的な質問や誤りが起きやすい質問を事前にテストします。導入後は、本番環境で回答品質を継続的にモニタリングすることが重要です。人事評価、契約、法務、経理処理など重要な判断に利用する場合は、人間による確認を挟み、誤った回答が業務へ反映されるリスクを抑える必要があります。

また、ユーザー評価や「役に立たなかった理由」を収集し、問題のある質問を評価データへ追加します。評価結果を文書、検索設定、プロンプトの改善へ反映することで、継続的な精度改善につなげられます。

さいごに

RAGの回答精度を改善するには、①文書の正本・更新管理、②チャンクとメタデータの設計、③質問・プロンプトの設計、④検索・リランキング設定の調整、⑤検索と回答の評価という5つのポイントを継続的に見直すことが重要です。まずは自社のRAGが直面している課題を特定し、本記事で紹介した5つのポイントを一つずつ見直すことから始めてください。

こうした見直しを行うには、文書を登録するだけでなく、文書の分割方法や取り込み設定を継続的に調整できる環境が必要です。Smart Generative ChatのEmbedding Chatbotでは、GUIから社内文書を登録できるほか、文書の意味を考慮した分割や、画像・表を含む文書の取り込みに対応しています。自社文書を活用したRAGの導入や見直しを検討している場合は、Embedding Chatbotの機能をご確認ください。