Q&A/ドキュメント検索(回答抽出)の検索結果にフィードバックを与える(管理者画面)
最終更新
最終更新
※このガイドに記載されている「」ドキュメント検索(回答抽出)とは回答生成ノードとは異なる機能です。ご注意ください。
エージェントはQ&A検索結果及びドキュメント検索(回答抽出)結果に肯定／否定の フィードバックを与え、AlliのAIをトレーニングすることができます。 エージェントがフィードバックを付与すると、「調整後の信頼度」の値に修正が加えられます。 Q&Aについては、ユーザーからのフィードバックも合算され、検索結果の順序に影響を与えることになります。ユーザーからのフィードバックと調整後の信頼度については、ガイドを参照してください。
エージェントがQ&A検索結果及びドキュメント検索結果にフィードバックを提供する方法は2つあります。 1つは検索プレビューを使用する方法、もう1つはトレーニングメニューを使用します。
ナレッジベース ＞Q&AタブにてQ&Aを検索しQ&Aプレビュー行うと、検索されたQ&Aの右下に肯定／否定のアイコンがあることを確認できます。
このアイコンをクリックするだけで、Q&Aに肯定あるいは否定フィードバックを与えることができます。評価フィードバック付与後に再度同じ質問を入力すると、下記のように調整後の信頼度のスコアが変わったことを確認できます。
再び、肯定アイコンをクリックし、フィードバックをキャンセルしたり、否定アイコンをクリックし、否定フィードバックに変えることもできます。
この方法で、上位のQ&A検索結果について簡単にフィードバックを与えることができますが、Q&A表示レビューに表示されないQ&Aにフィードバックを行う場合や、すべての検索のフィードバックを管理したい場合、「トレーニング」タブで操作を実行します。
※この機能は生成AIを活用した回答生成機能ではなく、ドキュメント検索(回答抽出)の機能についてのガイドになりますのでご注意ください。
ドキュメント検索プレビューで文書検索結果にエージェントフィードバックを行う方法は、Q&A検索結果にフィードバックを付与する方法と同じです。[ドキュメント]メニューに移動し、右端アイコンから「抽出回答UI」を選択してください。
質問を入力し結果を確認します。 各ドキュメント検索結果の右下に肯定／否定のアイコンが表示されます。
このアイコンをクリックするだけで、ドキュメントに肯定あるいは否定フィードバックを与えることができます。
評価フィードバック付与後に再度同じ質問を入力すると、下記のように調整後の信頼度のスコアが変わったことを確認できます。
再び肯定アイコンをクリックしてフィードバックをキャンセルしたり、否定アイコンをクリックし、否定フィードバックに変えることもできます
また、トレーニングメニューを利用して、フィードバックの管理、検索結果の修正、新しい回答を作成することができます。 詳細は下記のトレーニングガイドをご確認してください。
トレーニングを使用して、Q&Aとドキュメント検索(回答抽出)結果に付与されたフィードバックを簡単に確認及び管理することができ、新たな質問への回答をトレーニングすることができます。
ナレッジベース＞トレーニングに移動すると、「AIトレーニングを実施した質問リスト」配下に、既にトレーニングされた質問リストおよび各質問に付与された適切／不適切フィードバック数が確認できます。 それぞれのフィードバック数はQ&Aとドキュメント検索(回答抽出)結果に付与されたフィードバック数の合計となります。 たとえば、次の「リモートワーク」の質問にQ&Aで適切フィードバックが1件、ドキュメントで１件付与された場合、フィードバックの数は2で表示されます。
既に付与されたフィードバックを確認し、管理するには、「AIトレーニングを実施した質問リスト」で対象の質問を入力して検索し、対象のリストをクリックします。
新しい質問を学習させたい場合は「AIトレーニング用の質問入力」フィールドに質問を入力後、トレーンングボタンをクリックします。
どちらの場合も、以下のような画面に移行します。
ここでは、トレーニング中の質問のフィードバックが管理できます。 Q&Aまたはドキュメントのタブを選択しフィードバックの管理を開始します（[Q&A]タブがデフォルトで選択されています）。 戻るアイコンをクリックするとクエリのトレーニングを終了し、前の画面に戻ります。
ナレッジベース内のすべてのQ&Aは、この[Q&A]タブに一覧表示されます。表示の順番は、”適切”フィードバックが付与されているQ&A群が一番上に、次いで”不適切”フィードバックが付与されているQ&A群となり、最後に何のフィードバックもないQ&Aという順となります。
適切／不適切アイコンをクリックするだけでフィードバックを与えることができ、Q&Aの項目が多い場合など必要に応じて、キーワード検索フィールドを利用してフィードバック付与を行う対象Q&Aを迅速に検索できます。また、Q&Aリスト全体を一つ一つ確認しフィードバックを行うこともできます。
エージェント毎に、一つのQ＆Aに対して１回のフィードバックを与えることができます。適切／不適切アイコンの横にフィードバックの総数が表示されます。
自分が付与したフィードバックのアイコンは紫色で表示されます。選択済のフィードバックアイコンをもう一度クリックすると、フィードバックを元に戻すことができます。また、不適切アイコンをクリックするとフィードバックを変更することができます。
フィードバックの実行が完了後、[Q&A]タブに戻り、トレーニング（フィードバック）したばかりの検索クエリを入力すると、以下の図の様に、付与したフィードバックが調整後の信頼度と検索結果に影響を与えていることがわかります。
