> For the complete documentation index, see [llms.txt](https://docs.allganize.ai/allganize-alli-works/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.allganize.ai/allganize-alli-works/alli-dashboard/history/analytics.md).

# LLM 통계

LLM 및 LLM 앱을 바탕으로 한 통계를 사용할 수 있습니다. 대시보드 > 통계 아이콘 클릭을 통해 앱을 비롯하여 사용처 별 사용자 요청 수, LLM 호출 수를 확인할 수 있습니다. 자세히 알아보도록 하겠습니다.

**\[사용량]**

* 사용량 탭에서는 확인하고자 하는 통계 기간을 설정할 수 있습니다.
* 각 지표/차트 별 전체 통계를 엑셀 파일로 다운로드할 수 있습니다. 이 때 최대 6개월의 범위를 지정하여 다운로드 할 수 있습니다. 다운로드 파일에는 생성된 문서 수(일 기준)와 삭제된 문서 수(일 기준)도 함께 집계되어 표시됩니다.

<figure><img src="/files/TGR7fEuGASHFYsMD5lSX" alt=""><figcaption></figcaption></figure>

* 멤버 요청 횟수 : 해당 프로젝트에서 멤버가 LLM 관련 기능의 실행을 요청한 횟수 및 앱 내에서 인풋(버튼 클릭 및 메시지 입력 등을 통해 다음 단계로 진행)을 입력한 횟수를 뜻합니다.\
  \- 전체 : 답변형 앱, 대화형 앱, API, 지식베이스에서의 모든 요청 내역을 합친 횟수를 뜻합니다.\
  \- 답변형 앱 : 생성 버튼(혹은 동등한 API콜을 호출한)을 통해 실행한 횟수를 뜻합니다.\* 이 때 문서 업로드 인풋을 사용하는 등 한 번의 요청에 여러 번 LLM을 호출하는 경우일지라도 ‘생성 버튼’을 누른 횟수 = 1회로 카운트 됩니다.\
  \- 대화형 앱 : 멤버가 인풋을 입력한 (메시지 입력, 버튼 클릭, 입력 폼 제출 등) (혹은 동등한 API콜을 호출한) 횟수를 뜻합니다.\
  \- 답변 생성 API : API를 통해 ‘답변 생성’을 요청한 횟수를 뜻합니다. 해당 집계에는 답변 생성만 집계되므로 API를 통해 다른 앱을 실행시켰을 경우, 다른 앱들은 답변형 / 대화형 앱 카테고리로 분류되어 집계됩니다.\
  \- 지식베이스 : 대시보드 내 지식베이스 화면에서 ‘생성’ 버튼을 클릭한 횟수를 뜻합니다.
* 멤버 요청 횟수 상위 20위 : 멤버 요청이 가장 많았던 상위 20개의 앱들이 랭크인되어 표시됩니다. 이때 실제 앱이 구동된 횟수만 포함되며 ‘미리보기’ 버튼으로 테스트한 횟수는 포함되지 않습니다. (미리보기 버튼으로 테스트한 내역은 합산되어 기타 '미리보기 횟수'로 계산됩니다.)
* 기타 : ‘미리보기’ 버튼으로 테스트(프리뷰 카운트) + 그 외 리소스에서 온 요청들(그 외)에 대한 횟수들의 총합을 나타냅니다. 이 때 앱별 구분은 진행되지 않습니다.

<figure><img src="/files/6KbmAajzxxVg8G9AoiV4" alt=""><figcaption></figcaption></figure>

* LLM 크레딧 : 해당 프로젝트 내에서 차감된(소비된) 크레딧 수를 나타냅니다.\
  \- 전체 : 답변형 앱, 대화형 앱, API, 지식베이스에서 모든 LLM 실행 내역 + 모델 사용 내역을 합친 크레딧 소비량을 뜻합니다.\
  \- 답변형 앱 : 답변 생성 혹은 액션을 실행으로 인해 소비된 크레딧을 뜻합니다.\
  \- 대화형 앱 : 멤버가 인풋을 통해 답변 생성 혹은 액션 실행으로 인해 소비된 크레딧을 뜻합니다.\
  \- 답변 생성 API : API를 통해 답변을 생성할 때 소비된 크레딧을 뜻합니다. 해당 집계에는 답변 생성만 집계되므로 API를 통해 다른 앱을 실행시켰을 경우, 다른 앱들은 답변형 / 대화형 앱 카테고리로 분류되어 집계됩니다.\
  \- 지식베이스 : 대시보드 내 지식베이스 화면에서 Q\&A 생성 및 요약 태스크 진행 시 소비된 크레딧을 뜻합니다.크레딧 계산 방법은 모델별, 토큰수에 따라 달라지므로 [가격 페이지](https://www.allganize.ai/ko/pricing)를 참조해 주세요.
* 크레딧 상위 20위 : 크레딧 소비가 가장 많았던 상위 20개의 앱들이 랭크인되어 표시됩니다. 이때 실제 공개된 앱에서 소비된 크레딧만 포함되며 ‘미리보기’ 버튼으로 테스트한 횟수는 포함되지 않습니다. (미리보기 버튼으로 테스트한 내역은 합산되어 기타 '미리보기 횟수'로 계산됩니다.)
* 기타 : ‘미리보기’ 버튼으로 테스트(프리뷰 카운트) + 그 외 리소스에서 온 요청들(그 외)에 대한 횟수들의 총합을 나타냅니다. 이 때 앱별 구분은 진행되지 않습니다.

<figure><img src="/files/goAZD3VZUUwVzwfLriEn" alt=""><figcaption></figcaption></figure>

* LLM 호출 횟수 : 해당 프로젝트에서 LLM이 호출된 실질적인 횟수를 나타냅니다. \*단 앱 마켓 페이지에서 앱을 설치하기 위해 테스트할 때 사용되는 숫자는 포함되지 않습니다.\
  \- 전체 : 답변형 앱, 대화형 앱, API, 지식베이스에서 모든 LLM 실행 내역을 합친 횟수를 뜻합니다.\
  \- 답변형 앱 : 답변이 생성되기까지 혹은 액션을 실행하기까지 LLM이 실행된 횟수를 뜻합니다.\
  \- 대화형 앱 : 멤버가 인풋을 통해 답변이 생성되기까지 혹은 액션을 실행하기까지 LLM이 실행된 횟수를 뜻합니다.\
  \- 답변 생성 API : API를 통해 답변을 생성할 때 LLM이 실행된 횟수를 뜻합니다. . 해당 집계에는 답변 생성만 집계되므로 API를 통해 다른 앱을 실행시켰을 경우, 다른 앱들은 답변형 / 대화형 앱 카테고리로 분류되어 집계됩니다.\
  \- 지식베이스 : 대시보드 내 지식베이스 화면에서 Q\&A 생성 및 요약 태스크 진행 시 LLM이 실행된 횟수를 뜻합니다.
* 멤버 요청 횟수 상위 20위 : 사용자 요청이 가장 많았던 상위 20개의 앱들이 랭크인되어 표시됩니다. 이때 실제 구동된 횟수만 포함되며 ‘미리보기’ 버튼으로 테스트한 횟수는 포함되지 않습니다. (미리보기 버튼으로 테스트한 내역은 합산되어 기타 '미리보기 횟수'로 계산됩니다.)
* 기타 : ‘미리보기’ 버튼으로 테스트(프리뷰 카운트) + 그 외 리소스에서 온 요청들(그 외)에 대한 횟수들의 총합을 나타냅니다. 이 때 앱별 구분은 진행되지 않습니다.

**\[멤버 수]**

<figure><img src="/files/kCc68VdjoMvacp6a8Ok0" alt=""><figcaption></figcaption></figure>

1. 멤버 수 탭에서는 기본적으로 월간 및 일간 활성 멤버 수를 확인할 수 있습니다.
2. 월간 일간 및 평균 활성 멤버 수도 함께 확인할 수 있습니다.\
   더 자세한 월간별 일간별 앱 사용 기록을 확인하고 싶은 경우에는 4.데이터 내보내기 기능을 통해 각 상세 데이터를 다운로드 받을 수 있습니다. 다운로드 파일에는 생성된 문서 수(일 기준)와 삭제된 문서 수(일 기준)도 함께 집계되어 표시됩니다.\
   \* 월간 활성 사용자 수는 매월 1일 00:30(UTC+0)에 집계가 시작되며 일간 활성 사용자 수는 매일 00:30(UTC+0)에 집계가 시작됩니다. 해당 작업에는 대략 몇 시간이 소요됩니다.
3. 활성  멤버 수 상위 20위 앱을 확인할 수 있습니다.\
   상위 20위 앱 집계 방법은 하기와 같습니다. (집계 시에는 중복을 제거한 유니크(고유) 멤버 수만 계산됩니다)\
   1\) 답변형 앱 : 생성 버튼 실행한 멤버 수\
   2\) 대화형 앱 : 메시지나, 버튼 클릭 등 입력을 요청한 멤버 수\
   3\) 답변 생성 API : API를 통해 답변 생성을 요청한 멤버 수

**\[그룹(부서)별 통계 필터]**

LLM 통계 페이지(\[사용량] 탭) 내에 '그룹 필터'가 추가되었습니다. 이 필터를 통해 부서(그룹) 단위의 AI 활용도와 크레딧 소비량을 세밀하게 분석할 수 있습니다.

<figure><img src="/files/ivOiMrzlovxpDSnbUnZz" alt=""><figcaption></figcaption></figure>

1\. 그룹 필터 활용 및 비교 차트

* 다중 선택 기능 : 조회하고자 하는 권한 그룹을 한 개 또는 여러 개 선택할 수 있습니다. (아무 그룹도 선택하지 않으면 기존과 동일하게 프로젝트 전체 통계가 표시됩니다.)

<figure><img src="/files/3zYDzf60TgiPcuvMNstp" alt=""><figcaption></figcaption></figure>

* 차트 유형 변경 : 여러 그룹을 동시에 선택하여 비교할 경우, 우측 상단의 토글을 통해 차트 유형을 선형(Line), 누적 막대형(Stacked Bar), 그룹 막대형(Grouped Bar) 중 원하는 형태로 변경하여 트렌드를 분석할 수 있습니다.

<figure><img src="/files/bRZDhAr4Iwy7opM6vPdY" alt=""><figcaption></figcaption></figure>

* 그룹별 상세 요약 : 차트 하단의 표(Grid) 영역에서는 조회 기간 동안의 총합(Sum)과 함께, 선택한 각 그룹별 분할 수치를 상세하게 확인할 수 있습니다.

<figure><img src="/files/dzsEalgdaPH2rWVQTDL0" alt=""><figcaption></figcaption></figure>

2\. 그룹별 데이터 내보내기&#x20;

* 각 지표 및 차트별 데이터를 엑셀 파일로 다운로드할 수 있습니다.&#x20;
* 특히 다운로드된 엑셀 파일에는 '그룹 상세(Detail)' 시트가 새롭게 추가되어, \[그룹 × 앱 × 일자] 단위로 세분화된 사용량 데이터를 제공합니다. 이를 통해 부서별 분기 예산 계획 및 크레딧 정산 리포팅을 손쉽게 진행할 수 있습니다.

<figure><img src="/files/UQlzBlU1iBId1WBXDTvK" alt=""><figcaption></figcaption></figure>

💡 그룹 통계 집계 기준 (반드시 확인해주세요!)&#x20;

부서별 비용 정산 및 데이터 확인 시 혼선이 없도록 아래의 데이터 집계 정책을 참고해 주시기 바랍니다.

* 중복 소속 멤버의 사용량 : 한 멤버가 여러 그룹에 동시에 속해 있는 경우, 해당 멤버의 사용량(요청 횟수 및 크레딧)은 속한 모든 그룹에 각각 100%씩 반영됩니다. 따라서 그룹별 사용량의 단순 합계가 프로젝트 전체 총합보다 클 수 있습니다.
* 멤버의 그룹 이동 (시점 기준) : 멤버가 다른 그룹으로 이동할 경우, 데이터는 '해당 사용이 발생한 시점'의 그룹에 귀속됩니다. (예: A그룹에서 사용한 과거 내역은 B그룹으로 부서를 이동하더라도 A그룹의 통계에 그대로 유지됩니다.)
* 그룹 미지정 멤버 : 어떤 그룹에도 할당되지 않은 멤버의 사용 내역은 그룹 필터 결과에는 나타나지 않으며, '프로젝트 전체 총합'에만 반영됩니다.
* 삭제된 그룹 : 시스템에서 삭제 처리된 그룹은 통계 필터 선택 목록에서 더 이상 노출되지 않습니다.