⬆️データのアップロード

モデルのトレーニングとテストのためのデータのアップロード方法

アップロード方法

以下のデータは、ダッシュボードのデータ領域で確認できます。

• API連携によって自動的にアップロードされたデータ

• ファイルアップロードによって直接アップロードされたデータ

• 文章入力によって直接アップロードされたデータ

アップロード方法は3つありますが、すべてのデータはダッシュボードページの1つのデータ領域で参照できます。

GNB > Dashboard

アップロード時にデータを設定する

ファイルをアップロードする場合、事前にこのデータをトレーニングデータまたはテストデータとして使用するかどうかを選択できます。TRAIN/TESTを選択してアップロードすると、ダッシュボード上でトレーニングとテストのON/OFF状態が表示されます。

ランダムに設定する

ファイルをアップロードする場合、RANDOMオプションを選択し、テストデータ比率（％）を入力することができます。ファイルに存在するデータのうち、入力されたパーセンテージ（例えば20％）がテストデータとしてランダムに設定され、残りのパーセンテージ（例えば80％）がトレーニングデータとして設定されます。

GNB > Dashboard (& Inference) > Upload Phrases dialog

アップロードが完了すると、ダッシュボードで各データ(トレーニングとテスト)のON/OFF状態を確認することができます。

サポートされているファイルタイプ

TXT、JSON、TSV、XLSXファイルをアップロードできます。

GNB > Dashboard (& Inference) > Upload Phrases dialog

ガイドとそれぞれの例

レビュー分析

JSON

{
    {'text': 'hello Mom', "review_sentiments": [{"category":"만족도", "sentiment":'1'}]},
    {'text': 'hello kid', "review_sentiments": [{"category":"delicious", "sentiment":'1'}]},
    {'text': "what's dinner?",},
    {'text': 'chicken dinner!',}
}    

TXT/TSV

• カテゴリータグが存在する場合は、ヘッダーを含める必要があります (最初の例のように)。

  • テキスト (分類対象) は一番最初に配置する必要があります。

• カテゴリータグが存在しない場合は、ヘッダーを省略できます (2 番目の例のように)。

• データはタブで区切る必要があります。

REVIEW\t Satisfaction\t Price
Very tasty and affordable\t2\t2
I would like to eat again later\t2\t1

Very tasty and affordable
I would like to eat again later

XLSX

• 列の順序は問いません。

• センチメントは、-2、-1、0、1、または 2 のいずれかの値である必要があります。

|REVIEW| category |sentiment|
|------|----------|---------|
|hello |  PRICE   |   1     |
|myhome|  LENGTH  |   2     |
|dinner|  MATERIAL|   -1    |


|    REVIEW    |
|--------------|
|hello friends!|

NER

JSON

{
    {'text': 'hello Mom',
     "entities":[{"tag": {"name": "family"}, "start": 6, "end": 9, "token": "Mom"}]},
    {'text': 'hello kid'}
}

XLSX

• 列名を指定する必要があります。 列名の順序は問いません。

  • 列名は ["PHRASE"、"TOKEN"、"START"、"END"、"TAG"、"NO"] です。

  • 列名の順序は関係ありません。

• 「いいえ」はオプションの列です。

|PHRASE.      |TOKEN|START|END|TAG.                  |NO|
|-------------|-----|-----|---|----------------------|--|
|hello mom.   |mom  | 6   | 8 |{'name':'family'}     |2 |

テキスト分類

JSON

{
    {'text': 'hello Mom', 'intent': {'name': 'good'}},
    {'text': 'hello kid'}
} 

TXT/TSV

• 列名はありません。

• データは [text] または [intent, text] 形式のいずれかです。

  • 意図が存在する場合は、テキストの前に配置する必要があります。

  • 次の両方の形式が有効です。

• GOOD So Good
  BAD So Bad
  
  So Good
  So Bad

XLSX

• 特定の列名は必要ありません。

• [テキスト] または [インテント、テキスト] のいずれかの形式で指定できます。

• 以下の例はどちらも有効です。

|GOOD|hello mom!!|
|GOOD|hello dad!!|
|BAD|get out bob!!|

|hello mom!!|
|hello dad!!|

ツリー分類

JSON

{
    {'text': 'hello Mom!!',
     'tree_classes': [
         {'category': 'Large Category', 'value': 'Mom'},
         {'category': 'Medium Category', 'value': 'Woman'},
         {'category': 'Small Category', 'value': '50'}
     ]
    }
    {'text': 'hello kid'},
}

TXT/TSV

• カテゴリ タグがある場合は、ヘッダーが必要です (最初の例)。

  • テキスト (分類対象) は一番最初に配置する必要があります。

• カテゴリ タグがない場合は、ヘッダーを省略できます (2 番目の例)。

• データはタブで区切られています。

TREE\t Satisfaction\t Price
There are a lot of people \t1\t1
it's delicious even though I have to wait a bit. \t2\t2

There are a lot of people 
it's delicious even though I have to wait a bit.

XLSX

• 列名が存在し、次の順序に従う必要があります。

  • テキスト - 大分類 - 中分類 - 小分類

|TEXT	    |  Large Category  |  Medium Category  |  Small Category. |
|hello Mom. |          1       |          2        |          3.      |
|hello kid. |       Company    |      Engineer     |  New Employee.   |