ワトソン_アイキャッチ画像

IBM Watson(ワトソン)日本語API「Retrieve and Rank(検索およびランク付け)」

「ベトナムで、人工知能システムの開発を請け負います!」

IBM「Watson」の日本語API「Retrieve and Rank(検索およびランク付け)」の概要について紹介します。

概要

「Watson」とは

Watsonは質問応答/意思決定支援システムです。IBMが開発したもので、自然言語処理技術と機械学習技術を使用して、大規模非構造化データを分析し、洞察を明らかにするテクノロジープラットフォームです。

Watsonは、経験から学習し、自然言語で投げかけられた複雑な質問を解釈し、根拠に基づいた回答をするコグニティブテクノロジーです。

「Watson日本語API」とは

Watsonは各種日本語版APIを提供しています。各APIを使用することによりWatsonの能力を活用できます。

Watson日本語API「Retrieve and Rank(検索およびランク付け)」とは

「Retrieve&Rank」サービスは、全文検索エンジン「Apache Solr」+「Rank機能」です。

「Solr」に蓄積しているドキュメントから、質問と関連がありそうな回答候補を抽出(Retrieve)し、「Rank機能(ランカー)」によって回答優先度に修正を加え(Rank)、質問に対する適切な回答を上位に持ってくる仕組みです。

検索結果にランカーによる再ランクが適用され、質問に対してより関連性のある回答を提供できます。

開発者は、あらかじめ用意された質問/回答の組み合わせから生成されたトレーニングデータをサービスにロードして、機械学習モデルを訓練します。

主な特徴

「Solrクラスタ」とは

「Retrieve&Rank」サービスのバックエンドとして使用されているのは、正確には「SolrCloud」です。

「SolrCloud」は、全文検索エンジン「Apache Solr」をコーディネーションエンジン「Zookeeper」で拡張しているものです。「設定情報一元化」「マネージメント性」「スケーラビリティ」「障害耐性」などを持たせています。

「Solrクラスタ」とは、SolrCloudのインスタンスです。

「コレクション」とは検索対象の論理的範囲で、「Solrクラスタ」内に格納されます。「コレクション」内に登録されているドキュメントが検索対象となります。

「ランカー」とは

「ランカー」とは、あらかじめ学習して獲得した基礎知識(質問/回答パターン)を参考にして、回答候補の順序を適切な順番に入れ替える機能です。

「ランカー」は複数作成できます。ランカー作成時に、どの回答例(GroundTruth)を使ってトレーニングし、どのコレクションにリンクさせるのかを指定します。

「GroundTruth」とは

「GroundTruth(GT)」とは、質問と回答の紐付けデータを意味します。

質問に対する回答について、回答候補データIDで紐づけます。その際に、関連度も設定します。質問に対して複数の回答を設定できます。

「Solrクラスタ」と「ランカー」の独立性

「Solrクラスタ」と「ランカー」は、それぞれ独立した機能です。

そのため、「Solrクラスタ」をそのまま保存しておきながら、「ランカー」のみ再構成を行えます。

また、「ランカー」機能を使用せずに、単純に「SolrCloud」プラットフォーム(IaaS/PaaS)としても利用できます。

用途

「Retrieve and Rank」サービスの使用用途としては、次のようなものが考えられます。

  • 現場で問題解決にあたる技術者支援
  • お客様から受ける問題に対処するコンタクトセンター担当者支援
  • 専門組織から該当領域の専門家を探してプロジェクトチームを編成するプロジェクトマネージャ支援

など

まとめ

「Watson」の「Retrieve and Rank(検索およびランク付け)」サービスを利用すれば、利用者が欲している情報を適切に提供できるサービスを構築できます。

「ベトナムで、人工知能システムの開発を請け負います!」

About the author: matsumoto