生成した回答へフィードバックを与える
最終更新
最終更新
Alliのはダッシュボードへ登録されたドキュメントやQ&Aなど様々なソースを元に回答を生成します。
回答を生成するにあたって、質問に対して誤ったドキュメントソースから回答を生成しないよう、ソースとなったドキュメントにフィードバックを与えることで、精度を高めるため方法を案内します。 このフィードバックは、エージェントがダッシュボード内でのみ付与することが可能です。
また、回答生成ノードによって生成された回答結果にのみ対応をしております。
まずは、会話履歴のメニューを開き、対象となる会話履歴を開きます。 会話の中でフィードバックを与えたい回答を確認します。
回答が表示された吹き出しの下部には
手がかりのフィードバック
3.👍 や👎ボタンを使用すると、回答に対する調節的なフィードバックを提供できます。
"手がかりのフィードバックボタン"をクリックすると、下記の詳細ページに遷移します。
ユーザーの質問と生成された回答を確認できます
回答の根拠となったドキュメント名、ページ情報が表示されます。ただし、ナレッジベース>ドキュメントタブからドキュメントを削除した場合、そのリストからドキュメントも無効化処理（削除されたドキュメントとして表示）されます。
表示されたページ以外に同じドキュメント内の特定のページに正解が含まれている場合には、ページナビゲーションを通じて特定のページに自由に移動し、「質問に関連する内容」フィードバックを付与することができます。
回答を生成したページが回答の根拠として適切であれば「質問に関連した内容」 👍 フィードバックボタンをクリックし、評価します。
全く関係のない内容を根拠としていた場合は、「質問と無関係な内容」 👎 フィードバックボタンをクリックします。
👍 フィードバックを付与した場合には、今後同一または類似の質問に対して該当ページが上位にランクして表示され、👎 フィードバックを付与した場合には、当該ページは回答候補から除外されます。 フィードバックは、回数集計処理ではなく、最後に付与された最新のエージェントフィードバックで上書きされます。
左側のリストに回答に基づく文書がない場合は、直接ナレッジベースから対象のドキュメントを追加してフィードバックを与えることができます。
ドキュメントを選択した後は、"回答の根拠となったページが指定されていないドキュメント"というセクションで登録されるので、回答が記載されているページを表示したのち、"👍 質問と関連する内容"に評価してご利用ください。
さらに、ドキュメントリストのアイコンにマウスオーバーすると、最後にフィードバックを与えたエージェント情報と時間を一緒に確認できます。
また、以下の画像の通り、フィードバック履歴全体を確認する方法もあります。
ナレッジベース ＞フィードバック管理タブで、質問と回答についてどのフィードバックがドキュメントのどのページに付与されたか、一覧を確認できます。
実際の会話で行われたユーザーが入力した質問と生成された回答内容です
フィードバックの詳細概要を確認できます。
2-1. ユーザーが付与したフィードバックとは、実際の会話でユーザーによって評価されたフィードバックを意味します。
2-2. エージェントによって付与したフィードバック（回答の根拠に対する評価）は会話履歴画面で実施したエージェントによって評価されたフィードバックを意味します。
エージェントのフィードバックが付与された文書と文書ページが表示されます。ボタンをクリックすると、回答根拠文書の詳細を確認できます。
表示された回答とフィードバックの内容が正しいかどうかを評価できます。
表示された回答とフィードバックの内容が正しいかどうかを評価し、どの部分の改善が必要かを評価できます。クリックすると、以下のポップアップが表示されます。
フィードバックリストのダウンロードボタンです。フィルターを適用した後にダウンロードすると、フィルターが適用されたリストのみがダウンロードされます。
「回答の根拠となったドキュメントのフィードバックをアップロード」からExcelファイルに基づいて一括してフィードバックデータをアップロードすることも可能です。
サンプルファイルをダウンロード後、フォーマットに合わせて①質問文、②回答が含まれているファイル名(拡張子含む)、③ページ番号を入力し、アップロードください。この際に、ファイル名が誤っているか、ページ番号がない場合はその行はスキップされてアップロードされます。
本ガイドの内容に基づいて、生成された回答に使用されたファイルを確認、フィードバックを与えることによって、回答の生成品質を安定させることができます。
