分析(LLM分析)
最終更新
最終更新
LLMおよびLLMアプリに基づいた統計を使用できるようになりました。
ダッシュボード>分析アイコンをクリックすると、アプリごとの使用状況、ユーザーのリクエスト数、LLMのコール数を確認することができます。
ダッシュボードタイプにより一部表示が異なる部分がございますので、皆様の環境に即したご案内をご覧ください。
閲覧したい期間を選択してください。
各指標・グラフごとの全統計情報をExcelファイルでダウンロードできます。 最大6ヶ月間の期間を指定してダウンロードできます。
ユーザーリクエスト回数 該当プロジェクトにおいて、ユーザーがLLM関連機能の実行をリクエストした回数、 アプリケーション内でインプット（ボタンクリックやメッセージ入力等による次のステップへの進行）を行った回数を表示しています。
3-1. 合計 期間内のすべてのリクエスト数を合計した回数を表示します。 3-2.Single actionアプリ 回答型アプリで「生成ボタン」を押された（または同等のAPIコールがされた）回数です。
この時、ドキュメント（アドバンス）を使用するなど、1回のリクエストで複数回LLMを呼び出す場合でも、「生成ボタン」を押した回数＝1回とカウントします。
3-3.Conversationアプリ 対話型アプリで、ユーザーが何かしら入力した（メッセージの入力・ボタンクリック・入力フォームの送信）回数です。APIコールを行った回数も含まれます。 3-4.回答生成API 回答生成APIのリクエスト数 3-5.ナレッジベース ダッシュボード内のドキュメントメニューでQ&Aデータの「生成」ボタンをクリックした回数を意味します。
ユーザーリクエスト数TOP20 ユーザーによる利用数が最も多かった上位20個のアプリケーションをランキング形式で表示しています。 なお、「プレビュー」ボタンによるテストの回数は利用数から除外されています。
その他 「プレビュー」ボタンでテストした回数（プレビューカウント）と、その他のリソースからのリクエスト（その他）回数の合計を示します。 アプリごとの区分は行っておらず、合計した数値で表示されます。
Answer bot / LLM 統計閲覧機能 本ボタンをクリックすると、既存の Alli チャットボットをご利用中のプロジェクトをお持ちの場合、画面が切り替わり、Alliチャットボットの統計情報を確認できます。
LLMクレジット この表はプロジェクト内で消費されたクレジットの数を示します。 1-1. 合計 回答型アプリ、対話型アプリケーション、回答生成API、ナレッジベースでの全 LLM 実行履歴およびモデル使用履歴を合算したクレジット数を表示しています。 1-2. Single actionアプリ 回答型アプリで、回答の生成またはアクション実行により消費されたクレジット数を表示しています。 1-3. Conversationアプリ 対話型アプリで、ユーザーの入力に基づく回答生成またはアクション実行により消費されたクレジット数を表示しています。 1-4. 回答生成API 回答生成APIで消費したクレジット数を表示しています。 1-5. ナレッジベース ドキュメントメニュー画面でQ&A生成実行時に消費されたクレジット数を表示しています。
クレジットトップ20 クレジット消費量が最も多かった上位20のアプリケーションをランキング表示しています。 なお、実際に公開されたアプリケーションで消費されたクレジットのみの表示です。 「プレビュー」ボタンによるテストで消費したクレジットは含まれません。 プレビューで利用されたクレジットは、「その他プレビュー回数」として計算されます。 クレジットの計算方法はモデル別、トークン数によって異なります。 詳しくはサービス資料をご確認ください。
LLMコール数 この表はプロジェクト内のLLMのコール数を表示しています。 ただし、アプリマーケットページでアプリケーションのテスト時に使用された数値は含まれません。 1-1. 合計 回答型アプリ、対話型アプリケーション、回答生成API、ナレッジベースでの全てのLLM実行履歴を合算した回数を意味いたします。 1-2. Single actionアプリ 回答型アプリで、回答の生成またはアクション実行によるLLMが実行された回数を表示しています。 1-3.Conversationアプリ 対話型アプリで、ユーザーの入力に基づく回答の生成またはアクション実行によるLLMが実行された回数を表示しています。 1-4.回答生成API APIを通じて回答を生成する際のLLMの実行回数を表します。
1-5. ナレッジベース ナレッジベース画面で、Q&A生成および要約タスク実行時のLLMが実行された回数を表示しています。
LLMコール数トップ20 ユーザーからのLLM実行数が多かった上位20のアプリケーションをランキング形式で表示しています。 「プレビュー」ボタンによるテストでのLLMコール数は含まれません。 プレビューで発生したLLMコール数は、その他欄のプレビュー回数に表示されます。
閲覧したい期間を選択してください。
各指標・グラフごとの全統計情報をExcelファイルでダウンロードできます。 最大6ヶ月間の期間を指定してダウンロードできます。
ユーザーリクエスト回数 該当プロジェクトにおいて、ユーザーがLLM関連機能の実行をリクエストした回数、 アプリケーション内でインプット（ボタンクリックやメッセージ入力等による次のステップへの進行）を行った回数を表示しています。
3-1. 合計 期間内のすべてのリクエスト数を合計した回数を表示します。 3-2.Single actionアプリ 回答型アプリで「生成ボタン」を押された（または同等のAPIコールがされた）回数です。
この時、ドキュメント（アドバンス）を使用するなど、1回のリクエストで複数回LLMを呼び出す場合でも、「生成ボタン」を押した回数＝1回とカウントします。
3-3.Conversationアプリ 対話型アプリで、ユーザーが何かしら入力した（メッセージの入力・ボタンクリック・入力フォームの送信）回数です。APIコールを行った回数も含まれます。 3-4.スキル キャンペーンから作成したチャットフロー上で、ユーザーが何かしら入力した（メッセージの入力・ボタンクリック・入力フォームの送信）回数です。APIコールを行った回数も含まれます。 3-5.回答生成API 3-6.ナレッジベース ダッシュボード内ドキュメントメニュー画面でQ＆A自動生成の「生成」ボタンをクリックした回数を意味します。
ユーザーリクエスト数TOP20 ユーザーによる利用数が最も多かった上位20個のアプリケーションをランキング形式で表示しています。 なお、「プレビュー」ボタンによるテストの回数は利用数から除外されています。
その他 「プレビュー」ボタンでテストした回数（プレビューカウント）と、その他のリソースからのリクエスト（その他）回数の合計を示します。 アプリごとの区分は行っておらず、合計した数値で表示されます。
Answer bot / LLM 統計閲覧機能 本ボタンをクリックすると、既存の Alli チャットボットをご利用中のプロジェクトをお持ちの場合、画面が切り替わり、Alliチャットボットの統計情報を確認できます。
LLMクレジット この表はプロジェクト内で消費されたクレジットの数を示します。 1-1. 合計 回答型アプリ、対話型アプリケーション、回答生成API、ナレッジベースでの全 LLM 実行履歴およびモデル使用履歴を合算したクレジット数を表示しています。 1-2. Single actionアプリ 回答型アプリで、回答の生成またはアクション実行により消費されたクレジット数を表示しています。 1-3. Conversationアプリ 対話型アプリで、ユーザーの入力に基づく回答生成またはアクション実行により消費されたクレジット数を表示しています。 1-4. スキル キャンペーンから作成したチャットフロー上で、ユーザーの入力に基づく回答生成またはアクション実行により消費されたクレジット数を表示しています。 1-5. 回答生成API 1-6. ナレッジベース ナレッジベース画面でQ&A生成および要約タスク実行時に消費されたクレジット数を表示しています。 これらのクレジットは、システムの利用状況やパフォーマンスを測定・管理する上で重要な指標となります。 クレジットの計算方法はモデル別、トークン数によって異なります。 詳しくはサービス資料をご確認ください。
クレジットトップ20 クレジット消費量が最も多かった上位20のアプリケーションをランキング表示しています。 なお、実際に公開されたアプリケーションで消費されたクレジットのみの表示です。 「プレビュー」ボタンによるテストで消費したクレジットは含まれません。 プレビューで利用されたクレジットは、「その他プレビュー回数」として計算されます。
LLMコール数 この表はプロジェクト内のLLMのコール数を表示しています。 ただし、アプリマーケットページでアプリケーションのテスト時に使用された数値は含まれません。 1-1. 合計 回答型アプリ、対話型アプリケーション、回答生成API、ナレッジベースでの全てのLLM実行履歴を合算した回数を意味いたします。 1-2. Single actionアプリ 回答型アプリで、回答の生成またはアクション実行によるLLMが実行された回数を表示しています。 1-3.Conversationアプリ 対話型アプリで、ユーザーの入力に基づく回答の生成またはアクション実行によるLLMが実行された回数を表示しています。 1-4. スキル キャンペーンから作成したチャットフロー上で、ユーザーの入力に基づく回答生成またはアクション実行によるLLMが実行された回数を表示しています。 1-5.回答生成API APIを通じて回答を生成する際のLLMの実行回数を表します。
1-6. ナレッジベース ナレッジベース画面で、Q&A生成および要約タスク実行時のLLMが実行された回数を表示しています。
LLMコール数トップ20 ユーザーからのLLM実行数が多かった上位20のアプリケーションをランキング形式で表示しています。 「プレビュー」ボタンによるテストでのLLMコール数は含まれません。 プレビューで発生したLLMコール数は、その他欄のプレビュー回数に表示されます。
