For the complete documentation index, see llms.txt. This page is also available as Markdown.

分析(LLM分析)

ダッシュボード > 分析アイコンをクリックすると、アプリごとの使用状況、ユーザーのリクエスト数、LLMのコール数を確認することができます。

ダッシュボードタイプにより一部表示が異なる場合がありますので、ご自身の環境に即したご案内をご参照ください。


はじめに

  • この機能の概念

    プロジェクト内のAI活用状況を「ユーザーリクエスト数」「LLMクレジット」「LLMコール数」の3指標で可視化する分析機能です。期間指定・グループフィルター(Worksタイプの環境のみ対応)による絞り込みやExcelエクスポートにも対応しており、部門別の予算管理やコスト分析にも活用できます。

  • 操作者に必要な権限

    • 必須権限:管理者権限またはダッシュボード閲覧権限


操作方法

各メニューの操作方法を説明します。

ユーザーリクエスト数

該当プロジェクトにおいて、ユーザーがLLM関連機能の実行をリクエストした回数と、アプリケーション内でインプット(ボタンクリックやメッセージ入力等による次のステップへの進行)を行った回数を表示します。

  • 閲覧期間の選択

    閲覧したい期間を選択してください。

  • Excelダウンロード

    各指標・グラフごとの全統計情報をExcelファイルでダウンロードできます。最大6ヶ月間の期間を指定してダウンロード可能です。アプリ別のリクエスト回数・LLMクレジット・LLMコール数もダウンロードデータより確認できます。

  • ユーザーリクエスト数-合計

    指定期間内に該当プロジェクトにおいて、ユーザーがLLM関連機能の実行をリクエストした回数、 アプリケーション内でインプット(ボタンクリックやメッセージ入力等による次のステップへの進行)を行った回数の合計を表示しています。

  • ユーザーリクエスト数-Single actionアプリ 回答型アプリで「生成ボタン」が押された(または同等のAPIコールがされた)回数です。ドキュメント(アドバンス)を使用するなど、1回のリクエストで複数回LLMを呼び出す場合でも、「生成ボタン」を押した回数=1回とカウントします。

  • ユーザーリクエスト数-Conversationアプリ

    対話型アプリで、ユーザーが何かしら入力した(メッセージの入力・ボタンクリック・入力フォームの送信)回数です。APIコールを行った回数も含まれます。

  • ユーザーリクエスト数-スキル(特定のプロジェクトのみ) キャンペーン(スキル)メニューで、ユーザーが何かしら入力した(メッセージの入力・ボタンクリック・入力フォームの送信)回数です。APIコールを行った回数も含まれます。

  • ユーザーリクエスト数-回答生成API

    回答生成APIのリクエスト数を表示します。

  • ユーザーリクエスト数-ナレッジベース

    ダッシュボード内のドキュメントメニューでQ&Aデータの「生成」ボタンをクリックした回数を表示します。

  • ユーザーリクエスト数 TOP20

    リクエスト数が最も多かった上位20のアプリケーションをランキング表示しています。実際に公開されたアプリケーションで消費されたクレジットのみが対象です。

「プレビュー」ボタンによるテストのリクエスト数はトップ20に含まれず、「その他プレビュー回数」として別途計算されます。

  • その他

    「プレビュー」ボタンでテストした回数(プレビューカウント)と、その他のリソースからのリクエスト回数の合計を示します。アプリごとの区分は行っておらず、合計した数値で表示されます。

  • Answer bot / LLM 統計閲覧機能

    本ボタンをクリックすると、回答生成やFAQに特化した統計情報を確認できます。 詳細はこちら

Answer bot / LLM 統計閲覧機能

LLMクレジット

プロジェクト内で消費されたLLMクレジット数をアプリ種別ごとに確認できます。

  • LLMクレジット-合計

    回答型アプリ、対話型アプリケーション、回答生成API、ナレッジベースでの全LLM実行履歴およびモデル使用履歴を合算したクレジット数を表示しています。

  • LLMクレジット-Single actionアプリ

    回答型アプリで、回答の生成またはアクション実行により消費されたクレジット数を表示しています。

  • LLMクレジット-Conversationアプリ

    対話型アプリで、ユーザーの入力に基づく回答生成またはアクション実行により消費されたクレジット数を表示しています。

  • LLMクレジット-回答生成API

    回答生成APIで消費したクレジット数を表示しています。

  • LLMクレジット-ナレッジベース

    ドキュメントメニュー画面でQ&A生成実行時に消費されたクレジット数を表示しています。

  • クレジット TOP20

    クレジット消費量が最も多かった上位20のアプリケーションをランキング表示しています。実際に公開されたアプリケーションで消費されたクレジットのみが対象です。

「プレビュー」ボタンによるテストで消費したクレジットはトップ20に含まれず、「その他プレビュー回数」として別途計算されます。クレジットの計算方法はモデル別・トークン数によって異なります。

  • その他 「プレビュー」ボタンでテストしたクレジットと、その他のリソースからのクレジットの合計を示します。アプリごとの区分は行っておらず、合計した数値で表示されます


LLMコール

プロジェクト内でLLMが呼び出された回数をアプリ種別ごとに確認できます。

  • LLMコール数-合計

    回答型アプリ、対話型アプリケーション、回答生成API、ナレッジベースでの全LLM実行履歴を合算した回数を表示します。

  • LLMコール数-Single actionアプリ

    回答型アプリで、回答の生成またはアクション実行によりLLMが実行された回数を表示しています。

  • LLMコール数-Conversationアプリ

    対話型アプリで、ユーザーの入力に基づく回答の生成またはアクション実行によるLLMが実行された回数を表示しています。

  • LLMコール数-回答生成API

    APIを通じて回答を生成する際のLLMの実行回数を表示します。

  • LLMコール数-ナレッジベース

    ナレッジベース画面で、Q&A生成タスク実行時にLLMが実行された回数を表示しています。

  • LLMコール数 TOP20

    LLM実行数が多かった上位20のアプリケーションをランキング形式で表示しています。実際に公開されたアプリケーションで実行された回数のみが対象です。

「プレビュー」ボタンによるテストで実行された回数はトップ20に含まれず、「その他プレビュー回数」として別途計算されます。クレジットの計算方法はモデル別・トークン数によって異なります。

  • その他 「プレビュー」ボタンでテストで実行された回数と、その他のリソースからの実行された回数の合計を示します。 アプリごとの区分は行っておらず、合計した数値で表示されます。


メンバー(ユーザー)数タブ

該当プロジェクトにおいて、月間および日間のユニーク(固有)アクティブメンバー(ユーザー)数を確認できるタブです。 平均アクティブメンバー(ユーザー)数の確認に加え、データエクスポートを通じた詳細な月別・日別の利用履歴ダウンロードも可能です。 アクティブメンバー(ユーザー)数の上位20位アプリをアプリタイプ別に把握することもできます。

  • マンスリーアクティブメンバー数

    該当月のアクティブメンバー数を表示します。

  • デイリーアクティブメンバー数

    当日のアクティブメンバー数を表示します。

  • 1日あたりの平均アクティブメンバー数

    月間の平均アクティブメンバー数を表示します。

  • アクティブユーザー数(アプリ別) トップ20

    アクティブメンバー数の多い順にアプリを最大20件表示します。集計方法はアプリタイプごとに異なります。

詳細な月別・日別のアプリ利用履歴は「 データダウンロード」機能からダウンロードできます。ダウンロードファイルには、生成されたドキュメント数(日単位)および削除されたドキュメント数(日単位)も含まれます。


グループ統計(Worksプロジェクト版のみ)

LLM分析ページ([使用量]タブ)内の「グループフィルタ」を使用すると、部門(グループ)単位のAI使用率とクレジット消費量を細かく分析できます。

  • グループフィルタの活用

    照会したい権限グループを1つまたは複数選択できます。グループを選択しない場合は、プロジェクト全体の統計情報が表示されます。

  • 比較チャートの切り替え

    複数のグループを同時に選択して比較する場合は、右上のトグルでグラフの種類(線形・積み重ね棒・グループ棒)を切り替えてトレンドを分析できます。

  • グループ別詳細要約

    チャート下部の表領域では、照会期間中の合計とともに、選択した各グループ別の分割数値を詳細に確認できます。

  • グループ別データのエクスポート

    各指標とチャート別のデータをExcelファイルにダウンロードできます。ダウンロードされたExcelファイルには「グループ詳細(Detail)」シートが追加され、「グループ × アプリ × 日付」単位に細分化された使用量データを提供します。

グループ別データのエクスポートを活用することで、部門別の四半期予算計画やクレジット決済レポートを効率的に作成できます。


よくある質問

  • 分析データの「使用量」タブの情報が画面に反映されるまでどのくらいかかりますか?

    集計は1時間に1回実施され、約1時間半後に分析画面「使用量タブ」へデータが反映されます。

  • プレビューでのテストは利用数にカウントされますか?

    「プレビュー」ボタンによるテストの回数はユーザーリクエスト数・LLMコール数のトップ20から除外されています。「その他」欄のプレビューカウントとして別途集計されます。

  • データをExcelでダウンロードできますか?

    各指標・グラフごとの全統計情報をExcelファイルでダウンロードできます。最大6ヶ月間の期間を指定してダウンロード可能です。アプリ別のリクエスト回数・LLMクレジット・LLMコール数も確認できます。

  • グループ統計はどのプランで利用できますか?

    グループ統計はWorksプロジェクト版のみ利用可能です。

  • 複数グループに所属するメンバーの使用量はどのように集計されますか?

    複数グループに同時に所属するメンバーの使用量は、属するすべてのグループにそれぞれ100%ずつ反映されます。そのため、グループごとの使用量の単純な合計はプロジェクト全体の合計より大きくなる場合があります。


関連ページリンク

最終更新