MRC機能を利用することで、ユーザーからQ&Aに登録されていない質問があった際に、アップロードされているドキュメント内に回答が記載されている場合、Alliが直接回答することができるようになりました。 ※MRC(機械読解AI)についてはこちらを参照してください。
この機能を使用するには、[ナレッジベース]メニューの[ドキュメント]をクリックし、サポートしているファイルタイプ(.txt、.docx、.doc、.ppt、.pptx、.pdfTxt、docx、pdf)のドキュメントをアップロードを行ってください。
Q&Aから回答ノード内でこの機能の設定を行います。 有効に設定するにはQ&Aから回答ノード内の[Q&Aより類似質問がなかった場合、ドキュメントから直接答えます。]のチェックボックスをオンにします。 ドキュメントから回答後に別のチャットフローへの移行を設定する場合は、[ドキュメントから答えが出た場合のアクション指定]のチェックボックスをオンにします。
[注意] Q&Aから応答については既存のQ&Aデータベースが優先されます。 ドキュメントからAlliの回答をより頻繁に表示したい場合は、[Q&A品質設定]をクリックし、 [1.質問の類似性基準値]の閾値をデフォルト値の”0.4”より少し高く設定することをおすすめします。 ※この設定よりも信頼度が高いQ&A候補がある場合、この機能はトリガーされず、そのQ&A候補が表示されます。
上記記載の設定によってAlliは、関連するQ&Aペアがない場合にアップロードされたドキュメントから回答を抽出し、参照元ドキュメントのリンクを含む結果が表示されます。
この質問と回答は[未回答の質問リスト]タブに追加されますので、[+]をクリックするだけで、簡単にQ&Aに追加することができます。
なお、Q&Aノードを介さず、ドキュメントから回答を検索する場合には以下のノードを活用してください。”文章から回答”ノード
ドキュメント検索はAlliの主要な機能の1つであり、ユーザーは自由入力で質問し、ドキュメントから直接回答箇所を得ることができます。たとえば、ドキュメント検索を使用して社内ドキュメントの検索を支援したり、社内のヘルプデスクをセルフサービス化することができます。
Alliでは、たとえばマニュアルや返品ポリシーなどのドキュメントをアップロードするだけで、ユーザーの質問に自動で該当箇所を抽出するドキュメント検索機能を利用することができます。
Alliでは、質問に対して該当するFAQやドキュメントがない場合、質問に対して回答候補を出すことができません。そのため、最初にAlliのナレッジベース画面で設定を行うことが必要です。
まず、ナレッジベースページの[ドキュメント]タブに移動して、ドキュメントをアップロードします。 現在、txt, .docx, .csv, .xls, .xlsx, .xlsm, .jpg, .jpeg, .png, .hwp, .hwpx, .zip, .pdf, .ppt, .pptx, .doc形式をサポートしています。
アップロードしたドキュメントがpdf、imageまたはdocx形式の場合は、目のアイコンを押すことで、プレビューが表示されます。 ドキュメントのファイル名をクリックすることで、アップロードされたドキュメントをダウンロードすることもできます。
ハッシュタグを使用して、アップロードされたドキュメントに対してカテゴリを付与し、管理することが可能です。 編集アイコンをクリックし、ドキュメントに付与するハッシュタグとフッター情報を更新することができます。
デフォルトでは、検索結果のフッターにはソースドキュメントをダウンロードするためのリンクが設定されています。 編集することで、テキストの変更、リンク設定、画像添付、ビデオ添付、またはファイル添付を行えます。
検索結果のフッターは、ドキュメントから抽出された検索結果の最後に表示されます。
ハッシュタグを自動生成することもできます。 任意のドキュメントの下で「自動タグ付けを実行」のボタンをクリックするだけで、Alliは、既にアップロードされている同様のドキュメントに付与されているハッシュタグに基づいてハッシュタグを付けようとします。 これは、十分な数のドキュメントをアップロードし、ハッシュタグが付与されている場合にのみ機能します。
類語を登録するには、[ナレッジベース]> [ドキュメント]に移動し、[辞書]ボタンをクリックします。
主要な単語と類義語を直接ダッシュボード上で登録するか、類義語のセットをエクセルファイルにまとめたものをアップロードし、登録することもできます。 以前に登録した同義語を検索、編集、および/または削除することもできます。
Q&Aメニューから辞書を編集する場合、対義語を編集することもできます。 対義語はドキュメント検索には適用されないため、ここではアクセスできません。
類語を追加すると、Alliは登録したものと類語を同じものとして認識し、その結果を表示させることができます。
辞書は [Q&A]タブでも使用できます。[Q&A]タブでは対義語を登録できますが、ドキュメント検索は対義語は有効にできないため、登録できず、[ドキュメント]タブから対義語を設定することはできません。
特定のドキュメントが見つからない場合は、ナビゲーションバーを使用してタイトル別にドキュメントを検索できます。
デフォルトでは、検索クエリに類似したタイトルが含まれたすべてのドキュメントが表示されます。 より詳細な検索を行うには、歯車アイコンをクリックして追加の検索オプションを選択してください。
次のメニューを利用し、ハッシュタグとOn/Offステータス変更をを行うことで、ドキュメントをフィルタリングすることもできます。
ナレッジベースの構築作業が終了しました。次は質問設定です。 スキル(より多くの設定が必要で、主に顧客向けに設計されています)またはダッシュボード(より簡単で、主にエージェントと管理者向けに設計されています)のいずれか行えます。 まずはスキルを使ったドキュメント検索を説明します。
スキルエディタでは、ノードアイコンバーの左側に「ドキュメントから回答」ノードアイコンがあります。 クリックしてノードを作成します。
ノードの編集、コピー、削除が可能です。
質問入力方式で[ユーザー入力]を選択。
前のノードからのユーザー入力を質問として利用する場合はここをチェックしてください。
ノードで表示されるメッセージを編集します。
ノードに入る都度、メッセージを表示させるか場合はチェックします。
ドキュメント検索にて回答が抽出された場合のアクションを設定することができます。
抽出された回答を表示するためにカルーセルUIを使用する場合はチェックしてください。どのように表示されるかは、以下のスクリーンショットを参照してください。
ハッシュタグを選択することで、ハッシュタグが付与されたドキュメントのみを検索対象にできます。また、ある特定のハッシュタグが付与されていないドキュメントを検索対象にすることも可能です。変数を選択することもでき、変数値が既存のハッシュタグの1つである場合に機能します。
7にて「カルーセルUIを使用して回答を表示」にチェックした場合は、回答は次のように表示されます。左/右アイコンをスクロールまたはクリックすることで、他の回答を表示できます。モバイルでは、スワイプ動作にて同様の動作を行うことができます。
上記のように、各回答には「good」ボタンと「bad」ボタンが付いており、ユーザーはドキュメント検索結果に対してフィードバックを与えることができます。このフィードバックにより、特定の質問が与えられた場合に対応するスコア(調整後の信頼度)が調整されます。
変数を使用して、ユーザーの質問や入力を取得することができます。変数の値を用いて、ドキュメント検索を行うことが可能です。スキルにて変数の値を入力とする場合は下記となります。
「変数」を選択し、変数の値を入力するように設定します。 この場合、質問は事前に指定済である為、チャットフローがそのノードに到達すると、自動的に質問や回答が出力されます。
質問に使用する変数をドロップダウンリストから選択します。(ここでは、@TESTを仕様しています。)
ダッシュボードでのドキュメント検索は、検索バー(虫眼鏡マークのある箇所)に検索文を入力することで行うことができます。デフォルトでは、この検索により、質問文に対する回答として、合致するイメージとドキュメントの該当箇所を得ることができます。
ドキュメント検索結果を特定のドキュメントに絞り込む場合は、[フィルター]機能を用い、ハッシュタグ付与の組み合わせにて行えます。
ステータスがオンになっているドキュメントのみを検索対象とすることに注意してください。
質問を入力して結果を確認すると、各ドキュメント検索の結果の右下に「good」「bad」のアイコンが表示されています。
各検索結果に対し、「good」「bad」ボタンをクリックすることで、肯定的または否定的なフィードバックを与えることができます。質問に対するフィードバックは1エージェントに対し、1回のみとなり、他のエージェントでも同じ質問に対してフィードバックを与えることができます。フィードバックの総数は、「good」「bad」ボタンの横に表示されます。
フィードバックを与えることで、質問の結果に対して、調整後の信頼度を上下させることが可能です。下記のように調整後の信頼度に影響が与えられ、検索結果の順序が変化していることが分かります。
また、「good」ボタンをもう一度押下することで、 フィードバックを取り消しするか、下アイコンをクリックすることでフィードバックを「bad」に変更することもできます。
検索結果にフィードバックを行う方法についてはこちらのユーザーガイドをご確認ください。
信頼度基準値の設定-ドキュメントから見つかったテキスト回答を表示するための信頼度基準値(Alliは、この値よりも高い調整後の信頼度の回答のみを表示します)
回答候補の表示件数-表示されるテキスト回答の候補数
「結果をもっと見る」ボタンを使用し、他の質問候補を確認-質問候補の表示件数で設定した数だけ他の質問候補を表示します。(最大で25件) ※「文章から回答ノード」内のドキュメント機能から回答した場合のアクションを指定」にチェックが入っている場合、ONになっていても「結果をもっと見る」ボタンは表示されません
イメージ検索を使用する-画像検索結果を含めるかどうか
イメージ検索の信頼度基準値の設定-ドキュメントから見つかった画像の回答を表示するための信頼度基準値(Alliは、この値よりも高い調整後の信頼度の回答のみを表示します)
イメージ検索結果の表示件数-表示される画像の回答候補の数
検索結果にフッターを表示する-検索結果にフッターを表示するかどうか
信頼度をリセットする-ユーザー/エージェントのフィードバックと対応する調整後の信頼度をリセットします
リセット-加えられた変更をリセットします
適用する-変更を保存
検索フィールドに質問を入力し、調整した設定で結果を確認することができます。
詳細な手順については、このユーザーガイドを参照してください: ドキュメント検索のモデルのトレーニング
トレーニングデータを管理するには、[ナレッジベース]-> [ドキュメント]-> [AIモデル管理]-> [トレーニングデータ管理]を開きます。
ここでは、トレーニングデータを手動で入力したり、既存のデータを変更/削除することができます。アップロードアイコンをクリックして、トレーニングデータをまとめてアップロードすることもできます。質問とドキュメントのペアは一意であるため、同じ質問とドキュメントタイトルを持つ2つのトレーニングデータを設定することはできません。
アップロードしたファイルで、最初の列に「質問」、2番目の列に「ドキュメント名」、3番目の列に「回答」を入力してください。「質問」と「ドキュメント名」は必須フィールドです。サンプルファイルをアップロードアイコンクリックし、ダウンロードサンプルをクリックすることでダウンロードできます。
未回答の質問から直接トレーニングデータを追加することもできます。質問内容のみのを、トレーニングデータに追加できないことに注意してください。
トレーニングデータの準備ができたら、効果を確認するためにモデルを再トレーニングする必要があります。[ドキュメント]ページに戻り、[AIデータの管理]-> [モデルの再トレーニング]をクリックします。
エージェントのフィードバックに関してはこちらをご参照ください: エージェントフィードバック
他のセクションに完全には適合しない機能が他にもいくつかあります。
[ドキュメントの履歴]ページでは、作成者がエージェントまたはユーザーであるかどうか、回答が見つかったかどうか、日付などの結果を確認できます。ダウンロードアイコンをクリックすると、ドキュメントの履歴をダウンロードできます。履歴をダウンロードするためには、最大90日間の範囲を設定する必要があります。
Q&A機能も合わせて利用する場合、アップロードされたドキュメントからQ&Aを自動的に生成できます。この機能はまだベータ版であるため、問題が発生する可能性があることをご了承ください。
ドキュメントの[自動生成]をクリックし、終了したら[未回答の質問リスト]タブに移動します。そこからQAを追加すれば完了です。詳細については、次のユーザーガイドを参照してください: Q&A自動生成機能
Q&Aに対する自動タグ付けと同様に、アップロードした文書のハッシュタグも提案することができます。
ドキュメントの自動タグ付けを使用開始する前に、この機能は現時点ではまだベータ版であることを念頭に置いてください。現仕様では、AlliのAIはドキュメントのタイトルと一部のコンテンツのみを考慮した上で自動タグ付けを実行します。この機能は今後、タグ付けの精度を高めるために、ドキュメントの他の部分も考慮に入れるよう更新される可能性があります。
ドキュメントの自動タグ付けでは、Q&Aデータベースに使用しているハッシュタグが使用されるため、Q&Aの自動タグ付けが既にアクティブになっている場合、この機能をアクティブにする他の条件はありません。[ナレッジベース] > [ドキュメント] タブに移動し、[自動タグ付けを実行] をクリックします(下のスクリーンショットの#3)。
1. 提案ハッシュタグ: 提案されたタグの右側にある矢印をクリックすると、承認と拒否を選択できます。承認をクリックするとタグが受け入れられ、ハッシュタグとして登録されます。拒否をクリックするとタグは拒否されます。
2. 自動タグ付けの根拠: クリックすると、これらのタグの提案理由を確認することができます。Alliは、提案したタグの根拠となる文書を表示します。
3. 自動タグ付けの実行: クリックすると、ドキュメントの自動タグ付けがすぐに実行されます。
Q&A、候補、およびドキュメントの自動タグ付けを一元管理することができます。ナレッジベースメニューの [自動タグ付け] タブに移動します。拒否されたタグもここで確認できます。
すべてのQ&A、候補およびドキュメントに対し自動タグ付けを実行します。
自動タグ付け機能のオン/オフを切り替えます。
タグをフィルタリングし、ソートします。
タグの自動タグ付けをオン/オフにします。
タグの現在のステータス。Q&A、候補およびドキュメントに対して承認/提案/拒否されたタグの数を確認できす。
タグの詳細ステータスを開き、タグを管理します。
タグの詳細ステータスを開くと、提案されている各Q&A、候補、およびドキュメントのタグ付けを簡単に管理できます。ドキュメントの場合は、Q&Aと候補タブの場合とは異なり、自動タグ付け根拠に加え、拒否/承認ボタンも表示されます。
管理している自動タグ。
Q&A、候補またはドキュメントを選択します。
自動タグ付けの根拠。
個々のQ&A、候補またはドキュメントを拒否/承認します。
すべてを拒否/承認します。
ドキュメントごとに「アクセスリスト」で閲覧/編集が可能なAlliの管理担当者を設定することができます。
この機能を利用することで、例えば、複数の部門や担当者間でAlliを利用している場合、自身が管理していない領域のドキュメントに対する誤操作(編集や削除など)を防ぐことが可能です。 ただし、プロジェクトの管理者(管理者権限)はすべてのドキュメントを編集できます。
閲覧:ドキュメントの内容とメタデータの読み取り、検索
編集:閲覧と編集、削除
アクセスリストはデフォルトでホワイトリスト方式に従います。 つまり、リストに登録されていない担当者は、ドキュメントを編集、閲覧できないことはもちろん、検索を通じてドキュメントの内容を確認することもできません。 逆に、以下のようにドキュメント検索を活用している場合は、ホワイトリスト方式のアクセスリストを運用は適していません。
スキルの「ドキュメントから回答」ノードをSDKで活用している場合
編集については権限を持つ担当者のみに制限し、閲覧(検索)はすべての担当者に許可したい場合
これを防ぐために、アクセスリストの下にある「リストに含まれないエージェントも閲覧できるようにする」オプションをオンにすると、すべての担当者とSDKユーザーが閲覧権限を持つようになり、すべてのユーザーが権限制限なしで検索することができます。
担当者の管理と同様に、Q&Aごとに「アクセスリスト」で閲覧可能なユーザーを管理できます。ここでいう、顧客とは、SDKまたはAPIを介してQ&Aを検索するユーザーです。顧客はダッシュボードにアクセスできないため、編集権限を持たず、閲覧権限のみを持つことができます。
顧客アクセスリストもホワイトリスト方式に従います。 したがって、リストに登録されていない顧客には、Q&A検索時に、そのQ&Aは検索結果として表示されません。 ただし、アクセスリストの下にある「リストにない顧客(SDK/APIユーザー)も閲覧を許可」オプションをオンにすると、すべての顧客が閲覧権限を持つようになり、検索結果に表示されます。 担当者を 1 人ずつ追加する必要がある担当者アクセスリストとは異なり、顧客アクセスリストの管理は、顧客個別の追加に加えて顧客グループの追加もサポートします。
個別管理は左側のオプションでcustomer id(user id)を選択後追加、グループ管理はcustomer groupを選択後追加してください。
customer id, customer group これらの変数はすべて顧客固有の変数で、顧客リストから入力できます。特に、顧客グループは入力だけでなく、既存のグループから追加することもできます。
ドキュメントごとに権限を設定しなくても、フォルダを使用して複数のドキュメントの権限を一度に設定できます。
ドキュメントタブ内の「新しいフォルダを追加」、または「すべてのフォルダを表示」をクリックしてフォルダページに進んだ後、「新しいフォルダを追加」ボタンをクリックしてフォルダを追加できます。 フォルダ名とアクセスリストを入力してフォルダを追加してください。
フォルダの閲覧/編集権限もドキュメントと同様に定義されます。
詳細をみる:フォルダ情報を読む(フォルダ内のドキュメントの詳細をみる権限は最終的に各ドキュメントに設定された権限に従い、フォルダ権限とドキュメント権限を同一視するオプションがあります。後述)
編集:フォルダの変更
削除:フォルダを削除するときは、フォルダ内のドキュメントを削除するかどうかを選択できます。 すべて削除またはフォルダから移動する2つのオプションがあります。
追加(作成)されたフォルダはドキュメントをアップロードするときに選択できます。
既存のドキュメントを移動する場合は、ドキュメントのチェックボックスにチェックを入れ、 [その他]メニューの[ドキュメントを移動する]をクリックすることで、フォルダに移動することも可能です。
このとき、「選択したフォルダのアクセスリストをドキュメントのアクセスリストに上書きする」オプションをチェックすると、フォルダのアクセスリストがドキュメントのアクセスリストに上書きされます。
フォルダの変更/削除権限は、各フォルダ内に設定されている「編集可能」担当者のリストによって決まります。 フォルダを追加する権限は、プロジェクト設定>エージェント管理>グループ管理>権限の調整で実行できます。
フォルダ内にあるドキュメントは、フォルダ内に入った後、そのフォルダのドキュメントリストから確認できます。 フォルダに属していないドキュメントのみがメインページで表示されます。
上部の検索バーを使用すると、現在位置しているパス以下のみが検索範囲に含まれます。
メインページで検索すると、ドキュメント全体で検索可能です
「すべてのフォルダ」ページに入った後に検索すると、すべてのフォルダ内のドキュメントが検索可能、フォルダに含まれていないドキュメントは検索範囲に含まれません
フォルダAに入った後に検索すると、フォルダA内のドキュメントが検索が可能です
ドキュメント検索クエリの精度を向上させるために、データをアップロードして、モデルをトレーニングさせることが可能です。ナレッジベースでのドキュメント検索の利用方法についてはこちらのユーザーガイドをご参照ください。
AlliのDocument Searchは、事前にトレーニングされたAIモデルを使って文書から情報を抽出する仕組みになっています。 Alliは非常に精度が高いのですが、高性能なAIモデルを開発するには、十分な量の関連データでモデルをトレーニングすることが重要です。 これは、最初にトレーニングデータを追加し、その後モデルを再トレーニングすることで行われます。 初期学習が完了したら、テストデータを与えてモデルの精度を検証する必要があります。 このステップでは、モデルがお客様の特定のニーズに対して、正確で適切な答えを出すことができることを確認します。 モデルの性能が満足できない場合は、追加データによる再トレーニングや、以前のモデルに戻すことが必要です。 本資料では、その方法について説明します:
モデルのバージョンを管理する
トレーニングデータの追加
そのデータを活用するために、モデルの再トレーニングを行う
テストデータを追加して精度メトリクスを表示する
トレーニングに用いるデータを複数追加することで、さらに良い結果を得ることが可能です。
トレーニングデータ、モデルのバージョン、テストデータを管理するには、「ナレッジベース」→「ドキュメント」→「歯車マーク」を開いてください。
ここでは、モデルのバージョン名を変更したり、必要に応じて説明を付けたり、回答精度や文書のヒット精度の指標を表示したりすることができます。 それらの指標は、Test Dataを追加することで入力されます。
ここでは、トレーニングデータを手動で入力したり、既存のエントリーを修正/削除したりすることができます。 トレーニングデータのアップロードをクリックすると、トレーニングデータを一括でアップロードすることもできます。 質問と文書のペアは一意であるため、同じ質問と文書のタイトルを持つ2つのエントリーを持つことができないことに留意してください。
▼管理画面より手動で入力する場合
トレーニングデータ用の質問を入力する
適切な回答が存在する文書を提示すること
AIにその文書を検索させ、答えの可能性を探る
答えを選んでください
今回のトレーニングデータを提出した後に、もう一つトレーニングデータを追加する
トレーニングデータの追加を確定またはキャンセルする
▼トレーニングデータをアップロードする場合
アップロードするファイルには、1列目に「質問」、2列目に「文書名」、3列目に「回答」のラベルを付けてください。 “質問 “と “文書タイトル “は必須項目です。 正しいフォーマットのサンプルファイルは、「トレーニングデータのアップロード」ウィンドウからダウンロードすることもできます。 ファイルをアップロードすると、Alliは失敗した行を報告します。 (異なる行で失敗しても、適切にフォーマットされ、重複しない行はすべて追加されます。)
未回答の質問から直接トレーニングデータを追加することもできます。質問内容のみを、トレーニングデータに追加できないことに注意してください。
トレーニングデータの準備ができたら、モデルを再トレーニングして効果を確認する必要があります。 ドキュメントページに戻り、”AIデータの管理” -> “モデルの再調整 “をクリックします。
トレーニング中は、自由に他の機能を利用することが可能です。トレーニングが完了すると、「トレーニング中」のバーが消えます。
モデルのトレーニングが遅いと判断された場合、トレーニング状況の中で文書検索の割り当てリソースがどうなっているかを確認することができます。 さらにリソースが必要な場合は、担当のカスタマーサクセスにご相談ください。
ここでは、テストデータを手動で入力したり、既存の項目を修正・削除したりすることができます。 テストデータのアップロードをクリックすると、テストデータを一括でアップロードすることもできます。 質問と文書のペアは一意であるため、同じ質問と文書のタイトルを持つ2つのエントリーを持つことができないことに留意してください。 テストデータは、トレーニングデータで再トレーニングした後に、モデルの性能をベンチマークする方法です。
テストデータ用の質問を入力する
適切な回答が存在する文書を提示すること
AIにその文書を検索させ、答えの可能性を探る
答えを選んでください
今回のテストデータを提出した後に、もう一つテストデータを追加する
テストデータの追加を確定またはキャンセルする
アップロードされたファイルには、1列目に「質問」、2列目に「文書名」、3列目に「回答」のラベルを付けてください。 “質問 “と “文書タイトル “は必須項目です。 正しいフォーマットのサンプルファイルは、「テストデータのアップロード」ウィンドウからダウンロードすることもできます。 ファイルをアップロードすると、Alliは失敗した行を報告します。 (異なる行で失敗しても、適切にフォーマットされ、重複しない行はすべて追加されます。)
トレーニング設定を変更することが可能です。これらは、[ドキュメント]ページの設定アイコンをクリックし、[モデルトレーニング設定]タブにて設定できます。
各設定について簡単に説明します。
検索時にドキュメント名を反映:オンにすると、Alliはドキュメント検索を実行するときにドキュメントのタイトル(ファイル名)を考慮します。
ドキュメント名の影響度:ドキュメント検索のドキュメント名の影響度を変更できます。この設定を適用するには、[検索時にドキュメント名を反映]がオンになっている必要があります。 回答には質問のキーワードが含まれていなくても、微調整されたモデルであれば、その質問や類似の質問に対する回答を持つ特定のドキュメントを識別することができます。 文書のタイトルの重さが重いと、この方法で回答した場合のスコアが変わってきます。
ドキュメントごとに抽出する回答候補の最大数:この設定は、1つのドキュメントから抽出される結果の最大数を決定します。 デフォルトは0、つまり文書ごとの制限はありません。
類似した検索結果を除去:類似のドキュメント検索結果がある場合、非表示にすることができます。全ての類似した結果、ハッシュタグが同一の場合の結果、または同じドキュメントから抽出された結果を除去することが可能です。
検索結果からの顧客フィードバックやクエリトレーニングからのエージェントフィードバックを使用して、ドキュメント検索をさらに改善することもできます。詳細については、以下のユーザーガイドを参照してください。
ドキュメント検索の一般的な説明については、以下のユーザーガイドを参照してください。