長いインプットの処理方法
Alliでは、長いドキュメントや文章でも処理できるよう、いくつかの処理方法が用意されています。 ドキュメントの性質や利用目的に応じて、最適な処理方法を選択することで、トークン上限に対応しつつ、最適な処理と精度の高い回答が可能になります。
設定箇所について
長いインプットの処理方法は以下で設定が可能です。
Single Actionアプリ
LLM実行ノード
各処理方法について
1. インプットを切り分けずに処理
インプット全体をそのまま一括で処理します。
プロンプトの実行回数が最小限のシンプルな処理になりますが、トークン上限を超えると回答が途切れる可能性があります。 👉 使用するモデルのトークン上限未満のインプットに最適
2. マップ
ドキュメントをページ単位で分割して、ページ毎にプロンプトを処理します。
Excel / CSV / TXT など「ページの概念がないファイル」は、実質的にチャンクマップと同等になります。 👉 ページごとの回答や要約が必要な長いインプットに有効
3. マップリデュース
各ページごとに処理（マップ）した結果を集約（リデュース）した後、再度プロンプトを実行し全体をまとめた最終回答を生成します。 👉 長いドキュメント全体をまとめた要約や結論を得たい場合に最適
4. チャンクマップ
使用するモデルのトークン上限を区切りとしてインプットを分割し、プロンプトを処理します。 👉 構造化データやページ概念のないファイルなどの長いインプットに有効
5. チャンクマップリデュース
使用するモデルのトークン上限単位で分割して処理（チャンクマップ）した結果を集約（リデュース）した後、再度プロンプトを実行し全体をまとめた最終回答を生成します。 👉 処理の分割数を抑えつつ長いインプットを処理して、要約や分析したい場合に最適
最終更新