回答生成ノードでマルチモーダルオプションを使用する(Super Agent)

本機能は、回答生成ノードから、画像・ファイル・音声の分析はもちろん、画像やファイルの生成機能まで余すことなく活用できます。 また、アプリ内の各ノードごとに必要なツールやモデルを柔軟に組み合わせることができ、単一の会話フローの中で、ドキュメント・FAQ・WebベースのRAGエージェントの実行から、業務に欠かせない画像・ファイルの分析や成果物の生成までをスムーズに行えます。

1.ノードの設定方法

1.conversation appのフロー内で、回答生成ノードをクリックします。 2.実行タイプとしてRAG Agentを選択します。 3.ベースモデルを選択します。 4.検索ソースを選択します。 (1つ以上の検索ソースの選択が必要です)

5.必要なマルチモーダルオプションを有効にします。

2.マルチモーダルオプションの設定方法

マルチモーダルオプションは、「分析」と「生成」の2つのカテゴリに分けられます。ここでは、それぞれのカテゴリで利用できるツールや適用条件について説明します。

2-1.分析ツール

分析オプションを使用すると、ファイル・画像・音声を会話内に取り込み、モデルによる分析を実行できます。 各ツールに固有の利用条件は、以下のとおりです。

ファイル分析

本ツールを有効にすると、会話内でファイルをアップロードし、指定したモデルによる分析が可能になります。 無効(OFF)の場合、会話内でファイルを添付することはできません。

一度にアップロードできるファイル数は最大5件までで、合計容量は100MBを超えることはできません。

  • ファイルサイズが100MBの場合、アップロードできるのは1件のみです。

  • ファイルサイズが1MBの場合、合計容量が100MB以内であっても、アップロードできるのは最大5件までです。

インポート可能なファイルの拡張子は、以下のとおりです。

画像分析

本ツールを有効にすると、会話内で画像をアップロードし、指定したモデルによる分析が可能になります。 無効(OFF)の場合、画像を添付することはできません。

一度にアップロードできる画像は最大5枚までで、合計容量は50MBを超えることはできません。

  • 1枚の画像サイズが50MBの場合、アップロードできるのは1枚のみです。

  • 1枚の画像サイズが1MBの場合、合計容量が50MB以内であっても、アップロードできるのは最大5枚までです。

取り込み可能な画像ファイルの拡張子は、以下のとおりです。

オーディオ分析

本ツールを有効にすると、会話内でオーディオファイルをアップロードし、指定したモデルによる分析が可能になります。 無効(OFF)の場合、オーディオを添付することはできません。

一度にアップロードできるオーディオファイルは最大5件までで、合計容量は100MBを超えることはできません。

  • 1件のオーディオファイルサイズが100MBの場合、アップロードできるのは1件のみです。

取り込み可能なオーディオファイルの拡張子は、以下のとおりです。

2-2.生成ツール

生成オプションを使用すると、会話内でモデルによるファイルまたは画像の生成を行えます。 各ツールの利用条件は、以下のとおりです。

ファイル生成

本ツールを有効にすると、会話中の指示に基づいてファイルを生成できます。 無効(OFF)の場合、ファイルの生成は行えません。会話内でファイル生成を要求すると、エージェントは「現在、ファイル生成はできません」という案内メッセージを表示します。

作成時にサポートされるファイルの拡張子は、以下の4種類です。

画像生成

本ツールを有効にすると、会話中の指示に基づいて画像を生成できます。 無効(OFF)の場合、画像の生成は行えません。会話内で画像生成を要求すると、エージェントは「現在、画像生成はできません」という案内メッセージを表示します。

なお、現時点では画像編集機能は提供していません。 今後、生成した画像およびアップロードした画像を編集・再生成できる機能の提供を予定しています。

3.消費されたクレジットの確認

使用されたクレジットは、プロジェクト設定>請求情報>使用量>詳細、の「回答生成」のカテゴリーで確認できます。

4. Super Agentの利用に関する注意事項

4-1. プレビュー機能の非対応

現在、複数の画像および複数のファイルのアップロードは、Alli Works画面とテストのみ でサポートされており、プレビュー画面(SDK画面)では対応していません。 そのため、プレビュー(SDK画面)ではファイル添付アイコンが表示されず、マルチモーダル機能を正常にテストすることができません。

本機能を確認する場合は、以下の手順に従ってテストを進めてください。

  1. まず、アクセスリスト「全てのメンバーが閲覧できるようにする」をOFFにし、自身または自身が所属しているグループで閲覧できるようにアクセスリストを調整した上で、アプリを公開します。

  2. 次に、テストを実施します。

  3. テストが完了したら、アクセスリストを調整し、アプリを再公開します。

4-2. 会話の中でファイルをアップロードする方法

画像・ファイル・オーディオを会話に添付するには、画面右下の添付ファイルボタンから [チャットにアップロード] を選択し、複数のファイルを選択してチャットと一緒に送信します。 また、ドラッグ&ドロップやコピー&貼り付けにも対応しています。

各タイプごとのアップロード制限は、以下のとおりです。

  • 画像:最大50MB、最大5件

  • ファイル:最大100MB、最大5件

  • オーディオ:最大100MB、最大5件

シェアドキュメント、パーソナルドキュメントに登録されたドキュメント、ドキュメントをアップロードボタンを介してアップロードされたドキュメントは、システム内で整理・保存され、モデルが回答を作成する際の参考資料として継続的に利用されます。 一方、会話中(チャット)にアップロードしたファイルや資料は、その会話内でのみ一時的に使用され、すぐに回答生成に反映されます。

そのため、会話中にアップロードしたファイルは、登録済みのドキュメントとは異なり、パーソナルドキュメントやシェアドキュメントには登録されませ。。また、検索による回答(RAG)の対象にもならない点にご注意ください。

4-3. クレジットに関する注意事項

本ツールでは、設定されているLLMモデルのトークン上限内で、これまでの会話内容に加え、アップロードしたファイル・オーディオ・画像をまとめて保持します。 質問を行うたびに、これらの情報の中から必要な内容が自動的に参照されます。

そのため、新しく画像や質問を追加した場合でも、過去にアップロードした他のファイルがあわせて参照されることがあり、その際にクレジットが消費される場合があります。

既存の会話内容を参照せず、直前にアップロードしたファイルのみに基づいて処理を行いたい場合は、[会話を更新]をクリックして会話をリセットしてください。

最終更新