エージェントはQ&A検索結果及びドキュメント検索結果に肯定／否定のフィードバックを与え、AlliのAIをトレーニングすることができます。エージェントがフィードバックを付与すると、「調整後の信頼度」の値に修正が加えられます。Q&Aについては、ユーザーからのフィードバックも合算され、検索結果の順序に影響を与えることになります。ユーザーからのフィードバックと調整後の信頼度については、ユーザーフィードバックをQ&A検索結果に影響させるガイドを参照してください。
エージェントがQ&A検索結果及びドキュメント検索結果にフィードバックを提供する方法は2つあります。 1つは検索プレビューを使用する方法、もう1つはトレーニングメニューを使用します。
ナレッジベース ＞Q&AタブにてQ&Aを検索しQ&Aプレビュー行うと、検索されたQ&Aの右下に肯定／否定のアイコンがあることを確認できます。
このアイコンをクリックするだけで、Q&Aに肯定あるいは否定フィードバックを与えることができます。評価フィードバック付与後に再度同じ質問を入力すると、下記のように調整後の信頼度のスコアが変わったことを確認できます。
再び、肯定アイコンをクリックし、フィードバックをキャンセルしたり、否定アイコンをクリックし、否定フィードバックに変えることもできます。
この方法で、上位のQ&A検索結果について簡単にフィードバックを与えることができますが、Q&A表示レビューに表示されないQ&Aにフィードバックを行う場合や、すべての検索のフィードバックを管理したい場合、「トレーニング」タブで操作を実行します。
ドキュメント検索プレビューで文書検索結果にエージェントフィードバックを行う方法は、Q&A検索結果にフィードバックを付与する方法と同じです。 [ナレッジベース] ＞[ドキュメント]タブに移動し、質問を入力し結果を確認します。 各ドキュメント検索結果の右下に肯定／否定のアイコンが表示されます。
このアイコンをクリックするだけで、Q&Aに肯定あるいは否定フィードバックを与えることができます。
評価フィードバック付与後に再度同じ質問を入力すると、下記のように調整後の信頼度のスコアが変わったことを確認できます。
再び肯定アイコンをクリックしてフィードバックをキャンセルしたり、否定アイコンをクリックし、否定フィードバックに変えることもできます
また、トレーニングメニューを利用して、フィードバックの管理、検索結果の修正、新しい回答を作成することができます。 詳細は下記のトレーニングガイドをご確認してください。
トレーニングを使用して、Q&Aとドキュメント検索結果に付与されたフィードバックを簡単に確認及び管理することができ、新たな質問への回答をトレーニングすることができます。
ナレッジベース＞トレーニングに移動すると、「AIトレーニングを実施した質問リスト」配下に、既にトレーニングされた質問リストおよび各質問に付与された適切／不適切フィードバック数が確認できます。 それぞれのフィードバック数はQ&Aとドキュメント検索結果に付与されたフィードバック数の合計となります。 たとえば、次の「リモートワーク」の質問にQ&Aで適切フィードバックが1件、ドキュメントで１件付与された場合、フィードバックの数は2で表示されます。
既に付与されたフィードバックを確認し、管理するには、「AIトレーニングを実施した質問リスト」で対象の質問を入力して検索し、対象のリストをクリックします。
新しい質問を学習させたい場合は「AIトレーニング用の質問入力」フィールドに質問を入力後、トレーンングボタンをクリックします。
どちらの場合も、以下のような画面に移行します。
ここでは、トレーニング中の質問のフィードバックが管理できます。 Q&Aまたはドキュメントのタブを選択しフィードバックの管理を開始します（[Q&A]タブがデフォルトで選択されています）。 戻るアイコンをクリックするとクエリのトレーニングを終了し、前の画面に戻ります。
ナレッジベース内のすべてのQ&Aは、この[Q&A]タブに一覧表示されます。表示の順番は、”適切”フィードバックが付与されているQ&A群が一番上に、次いで”不適切”フィードバックが付与されているQ&A群となり、最後に何のフィードバックもないQ&Aという順となります。
適切／不適切アイコンをクリックするだけでフィードバックを与えることができ、Q&Aの項目が多い場合など必要に応じて、キーワード検索フィールドを利用してフィードバック付与を行う対象Q&Aを迅速に検索できます。また、Q&Aリスト全体を一つ一つ確認しフィードバックを行うこともできます。
エージェント毎に、一つのQ＆Aに対して１回のフィードバックを与えることができます。適切／不適切アイコンの横にフィードバックの総数が表示されます。
自分が付与したフィードバックのアイコンは紫色で表示されます。選択済のフィードバックアイコンをもう一度クリックすると、フィードバックを元に戻すことができます。また、不適切アイコンをクリックするとフィードバックを変更することができます。
フィードバックの実行が完了後、[Q&A]タブに戻り、トレーニング（フィードバック）したばかりの検索クエリを入力すると、以下の図の様に、付与したフィードバックが調整後の信頼度と検索結果に影響を与えていることがわかります。
トレーニング済みの質問を選択、または新しい質問を入力後、次の画面の様に[ドキュメント]タブをクリックします。 ドキュメント検索の性質上、ドキュメント検索結果にフィードバックを提供する方法は、 ドキュメントから抽出可能なすべての回答を一覧表示することが不可能なため、Q&Aの場合とは異なります。 トレーニングメニューでフィードバックを付与したことがないクエリの場合、[ナレッジベース] ＞ [ドキュメント]タブ同様のドキュメント検索結果が表示されます。
ここに表示される回答は ‘「ドキュメント検索の設定」’ で調整が可能ですが、エージェントがフィードバックを付与した回答が「信頼度基準値の設定」・「回答候補の表示件数」の設定よって表示されない場合があります。（詳細はこちらのガイド を参照してください）。 その様な場合のフィードバック付与方法を以下に記載します。
キーワード検索を利用 キーワード検索を利用すると、ターゲットとしているドキュメントの検索結果 をリストに表示することができます。つまり、高スコアの「調整後の信頼度」がなくとも検索することが可能になります。これは、キーワード検索が信頼度基準値を無視して、ドキュメント全体からキーワードでフィルタリングし検索するように動作するためです。
回答を編集 検索結果として表示された最良の回答が回答として採用するにはやや不十分な 場合、編集アイコンをクリックし、その回答を編集できます。 編集された回答は、常に高い「調整後の信頼度」を有し、編集した担当者が、自動的にその回答に適切なフィードバックを与えたものとみなされます。
直接（手動で）回答を作成 #1、#2の両方を試みたが、満足のいく回答がない場合は、直接手動で回答を作成することができます。「直接回答を作成する」ボタンをクリックし、回答を入力します。直接作成された回答は、常に高い「調整後の信頼度」を有し、作成した担当者が、自動的にその回答に適切なフィードバックを与えたものとみなされます。
ドキュメントトレーニング（フィードバック）に関するその他の注意事項は次のとおりです。
リストには、直接作成された回答が最も上位に、編集された回答がその次に表示され、最後にドキュメント検索結果が表示されます。
直接作成された回答と編集された回答は、ドキュメント検索の設定で設定された「回答候補の表示件数」設定の回答数にはカウントされません。
編集した回答のプレビューアイコンをクリックすると、ソースドキュメントのプレビューと、「本回答内容は、以下のAIによる回答をもとにエージェントが編集・作成したものです。」という、この回答が編集された回答であることを示すメッセージが表示されます。
直接作成された回答には、ソースドキュメントがないため、プレビューアイコンが表示されません。
直接作成および編集された回答には、削除するためのゴミ箱アイコン、「作成された回答」タグ、作成／編集された時間と最後に更新したエージェントに関する情報が表示されます。
比較的長いガイドを最後まで読んでいただきありがとうございます。 エージェントフィードバック機能は、シンプルでありながら利用用途が高い機能です。 たとえば、定期的に「未回答の質問リスト」タブの質問を確認して、ドキュメントから抽出された回答がある場合には、Q&A登録やトレーニングを行うことができます。また、ユーザーから想定される質問を自身で作成し、それらの質問をトレーニングに使用して、ユーザーに公開する前にAlliの準備を実施することができます。 是非、お試しください。
