ワトソン_アイキャッチ画像

IBM Watson(ワトソン)日本語API「Natural Language Classifier(自然言語分類)」

「ベトナムで、人工知能システムの開発を請け負います!」

IBM「Watson」の日本語API「Natural Language Classifier(自然言語分類)」の概要について紹介します。

概要

IBM「Watson」とは

Watsonは質問応答/意思決定支援システムです。IBMが開発したもので、自然言語処理技術と機械学習技術を使用して、大規模非構造化データを分析し、洞察を明らかにするテクノロジープラットフォームです。

Watsonは、経験から学習し、自然言語で投げかけられた複雑な質問を解釈し、根拠に基づいた回答をするコグニティブテクノロジーです。

「Watson日本語API」とは

Watsonは各種日本語版APIを提供しています。各APIを使用することによりWatsonの能力を活用できます。

日本語API「Natural Language Classifier(自然言語分類)」とは

「Natural Language Classifier(NLC)」は、Watson日本語APIの中の1つで、文脈/意味解釈機能を提供します。

訓練データによってトレーニングされた分類器(classifier)を用いてテキストを分類するものです。文章を入力すると、その文章について、あらかじめ定義されたカテゴリ(class)に分類します。

例えば、Twitterのツイートについて「ニュースor出来事or意見」「仕事orプライベート」などの分類を行えます。日常会話などに含まれる「微妙なニュアンス」までも含めた解釈を行えます。

ユーザからの話し言葉の質問に対して、どのカテゴリ(class)に対する質問なのかを判別できることにより「該当する処理へ誘導する」などの対応に使用できます。

主な特徴

NLCの分析プロセス

NLCは、さまざまな観点から質問を分析し、習得している知識に基づいて相関関係を検出し、多くの応答候補を作成します。

各応答候補に信頼スコアを設定して、最も信頼性が高い応答候補を選択します。

トレーニング

NLCでは、まず、分類器を生成し、訓練用データ(CSVデータ)をアップロードして分類器のトレーニングを行うことから始まります。分類器のトレーニングが終了すると、はじめて分類器を使用できます。

さまざまな領域やアプリケーションで機能するように訓練できます。Wikipediaなどの知識に基づいて構成された知識モデルに加えて、訓練用データを追加することで、自然な分類器を作成できます。「テキストの背後にある意図」を解釈させることも可能になります。

トレーニング例

例えば、訓練用データとして「外は寒いですか?→気温」「明日の最低気温は何度ですか?→気温」「明日は晴れますか?→天気」などの情報を登録してトレーニングします。

「明日は寒いですか?」という質問を受け付けると、トレーニングした通りに、「気温」に分類します。

「明日はしばれる?」という方言表現で質問を受け付けた場合、「しばれる=寒い」という学習が行われていれば、訓練用データに「しばれる」というデータが含まれていなくても、「気温」に分類できます。

APIメソッド

NLCは以下のメソッドからなるAPIセットです。

名称 メソッド 意味
/v1/classifiers GET 分類器一覧表示
/v1/classifiers POST 分類器作成、データ投入、トレーニング開始
/v1/classifiers/{classifier_id} GET 分類器トレーニング状況を確認
/v1/classifiers/{classifier_id}/classify POST 分類器でのテキスト分類実行
/v1/classifiers/{classifier_id}/classify GET (同上)
/v1/classifiers/{classifier_id} DELETE 分類器削除

短いテキスト向け

NLCは、1000文字程度以下の短いテキスト向けに調整されています。

用途

NLCの用途として、次のようなパターンが考えられます。

  • ユーザからの問い合わせに対して、分類により対応部署に振り分ける
  • メールを「仕事」「プライベート」「プロモーション」に分類して重要度を設定する
  • Twitterのツイートを分類してデータセットを作成する

まとめ

IBM「Watson」の日本語API「Natural Language Classifier(自然言語分類)」は、従来の定型的なパターン分類ではなく、深層学習を利用し、経験を積むほど精度が上がっていきます。

社会のさまざまな用途に活用できるものとして、大きな注目を集めています。

「ベトナムで、人工知能システムの開発を請け負います!」

About the author: matsumoto