Alliでは、長いドキュメントや文章でも処理できるよう、いくつかの処理方法が用意されています。 ドキュメントの性質や利用目的に応じて、最適な処理方法を選択することで、トークン上限に対応しつつ、最適な処理と精度の高い回答が可能になります。
長いインプットの処理方法は以下で設定が可能です。
Single Actionアプリ
LLM実行ノード
インプット全体をそのまま一括で処理します。
プロンプトの実行回数が最小限のシンプルな処理になりますが、トークン上限を超えると回答が途切れる可能性があります。 👉 使用するモデルのトークン上限未満のインプットに最適
ドキュメントをページ単位で分割して、ページ毎にプロンプトを処理します。
Excel / CSV / TXT など「ページの概念がないファイル」は、実質的にチャンクマップと同等になります。 👉 ページごとの回答や要約が必要な長いインプットに有効
各ページごとに処理（マップ）した結果を集約（リデュース）した後、再度プロンプトを実行し全体をまとめた最終回答を生成します。 👉 長いドキュメント全体をまとめた要約や結論を得たい場合に最適
使用するモデルのトークン上限を区切りとしてインプットを分割し、プロンプトを処理します。 👉 構造化データやページ概念のないファイルなどの長いインプットに有効
使用するモデルのトークン上限単位で分割して処理（チャンクマップ）した結果を集約（リデュース）した後、再度プロンプトを実行し全体をまとめた最終回答を生成します。 👉 処理の分割数を抑えつつ長いインプットを処理して、要約や分析したい場合に最適
最終更新 4 か月前
