目次
１．以下に１つでも当てはまった方にお勧めです
１．お客様サポート業務を効率化、自動化したい
２．精度の高いチャットボットが欲しい
３．社内の問い合わせの工数、コストを削減したい
２．コンタクトセンター、コールセンター業務の悩み
２－１．オペレーターのコストを削減したい
オペレーターの採用には、コストがかかる上に、その後の育成・教育のコスト、稼働のコストも高くつきます。
また、オペレーター人件費の高昇している傾向があります。
２－２．オペレーターの人員不足
重要KPIである、放棄呼率（応答率）を向上し、顧客満足度を上げていきたいのに、オペレーターの有効求人倍率が上がっている現状があり、採用でなかなか人を集められない場合があります。
また、アンケートからは、コールセンターはストレスが多く、働きたくないという求人者の姿勢が見受けられます。
２－３．オペレーターの顧客対応スキル不足
問い合わせ内容が多岐に渡る場合、オペレーターの育成には、多くの時間が掛かります。
しかし、コンタクトセンター業界は人の入れ替わりが多く、育って来てくれたと思った頃に辞められてしまうといったことが多々あります。
スキルの低いメンバが多くなってくると、適切な対応が行き届かず、お客様に不愉快な思いをさせてしまうことが多くなってしまいます。
上記の様な悩みは、コンタクトセンター業界だけに当てはまるわけではありません。
例えば多店舗展開されている小売業様などは、社内の情報システム部門等への問い合わせが非常に多く、上記と同じような悩みを抱えています。
これらの悩みを解決できるソリューションがAIチャットボットだと考えており、その理由等をこれからご説明して参ります。
３．コンタクトセンターに求められるITの高度化、自動化
前述のような人的な課題く加え、以下の様なITの高度化が求められてきています。
３－１．種々のシステム・チャネル間の連携
現在多くの企業が、顧客とのコミュニケーションに電話、メール、チャット、FAX、SNS等の様々なツールを用いています。
SNSも１つではなく、Facebook、Twitter、Line等を組み合わせて使っている企業が増えてきています。
しかし、それらのツール間で顧客とやり取りしたコミュニケーション履歴が共有されておらず、情報が一元化されていないケースが多く見受けられます。
また、使っているコミュニケーションツールによって、部署が異なっている場合もあり、そのような場合もデータが共有されていない事があります。
関連部署が非協力的な場合等もあります。
それらの問題もAIチャットボットを導入することによって解決することができます。
一元的に情報を蓄積することが出来るからです。
３－２．ビッグデータの蓄積、及び分析
近年ITチャネルが増えたことなどから、取り扱うデータ量も飛躍的に増えています。
しかし、膨大なデータを効果的に分析、活用することは簡単ではありません。
企業へのアンケート結果からも、「コールリーズン 意識はしているが集計までは出来ていない。」と言った声が多く、VOC（顧客の声）データを活用しきれていないところが多いようです。
なぜなら、膨大なデータ分析するには、データサイエンティスト等の専門技術を持った人材が必要になってくる場合が多いためです。
また、顧客とのコミュニケーション履歴は、文章の形で蓄積されていることが多いため、それらを分析、活用していくにはデータマイニングに加え、テキストマイニングといった技術も必要になってきます。
その外にも、大企業等では、取り扱っている商品・サービスが多岐に渡るため、顧客からの質問・回答も非常に多くなります。
質問・回答セットが膨大になってくると、通常のFAQシステムでは使い勝手や検索精度に問題を抱えることが多くなってきます。
また、顧客からの質問の量・質が膨大になってくると、ベテランのオペレーターでさえ対応が難しくなってきています。
しかし、これらの問題に関してもAIチャットボットなら対応することが出来るのです。
３－３．顧客対応の完全自動化
前章でご説明させて頂いた、人件費の高昇や、人員の不足、オペレーター育成コストの問題から、AIによる顧客対応の完全自動化を求める声が高まっています。
しかし、ベテラン・オペレーターと同等以上の顧客対応が可能なAIチャットボットを作ることは簡単ではありません。
世の中には、既にAIを名乗るチャットボット等が出てきています。しかし、その性能や精度に疑問を持たざるを得ないものが大半であるのが正直なところです。
しかし、もし、ベテラン・オペレーターと同等以上の働きをするAIチャットボットを作ることが出来れば、メリットしかないと言っても過言ではありません。
そして、私共は、世界最高精度のAIチャットボットの開発に成功しています。
４．弊社 独自対話エンジンの強み
４－１．世界最高レベルの意味解釈精度
某航空会社のFAQの質問の言い換え表現（難易度、易・難）を用意し、回答候補の正答率でI社WのAIサービスを大きく上回りました。
精度比較デモ動画
４－２．リアルタイム学習機能
望みの回答候補の順位が低い場合も、正しく表示されない場合も、フィードバックを与える事で、リアルタイム学習が可能になります。
また学習をすればするほどナレッジが自動で蓄積されていく仕組みを備えています。
４－３．カテゴリ分類機能
世界最高レベルの意味解釈精度と共に、同じく世界最高レベルの高精度 カテゴリ分類機能を搭載。
これにより、回答候補が無い場合も、ユーザの質問のカテゴリをAIが判定し、オペレータの回答候補検索を助長する事が可能です。
４－４．他社には無いオプション機能・サービス
４－４－１．クエリログ自動分析
ユーザからのクエリログを自動で分析し、重要度が高く、既存FAQに登録されていない質問・問い合わせを抽出して、ナレッジベースの向上が可能
４－４－２．クエリの自動スペルチェック
ユーザからのクエリにスペルミス等があると、回答精度が下がる為、スペルチェックして回答精度を上げる
同音異義語の漢字の間違えを修正
カタカナの名詞の間違えを修正
４－４－３．チャットボットの回答自動要約
業務用ボット等で回答が長文になる場合は、その要約文も回答する
４－４－４．クエリのNGワード検知
悪口等を検知し対応
４－４－５．対話ログ分析レポートと精度改善
以下、フラワーショップ向けAI店員 分析レポート例
（AI店員、AIチャットボットと同一のAIエンジンで構成しています。）
花屋に設置したAI店員チャットボットとユーザーがXXXX年XX月にユーザーとの会話を行ったログを収集し、分析した結果を下記に示す。
1. カテゴリ別会話数
2. 地図表示QAに対する分析
想定していた質問は「大宮駅への行き方を教えてください」、「大宮駅にはどうやって行ったらいいの？」のような質問であった。
ただ、質問内容を機械学習でクラスタリングを行い、想定される質問に該当しないグループを抽出した所、23％のユーザーが下記のような質問で場所を聞いていた。
「◯◯◯を売っている場所は？」
「◯◯◯が食べられるとこを教えて」
（この◯◯◯に入るのは場所名でなく、商品名・食べ物名等となる。）
元々は場所名が質問内容に入っている想定で、質問内容から場所を固有表現抽出を行っていたが、商品名・食べ物の名前を抽出してそれぞれ売っている店鋪・飲食店を提案するように変更したことにより、場所について聞かれた際のチャットボットの回答の精度を18%向上に成功した。
3. 不明な質問に対する分析
不明な質問とは、チャットボットが判断できない（どの想定QAにも一定のスコア以上類似していない）ユーザーからの質問のことである。
機械学習によるクラスタリングの結果、大まかに下記のように質問が分類された。
各クラスタに対する改善策も同時に示している。
| クラスタ | 例 | 割合 | 改善策 |
|---|---|---|---|
| 花の説明 | ・ポインセチアの説明して ・薔薇ってどこの？ ・薔薇の産地は？ | 12% | 花の解説QAを導入する |
| 名詞のみ | ・福岡県 ・結婚式 ・薔薇 | 11% | ・[場所の場合]=>地図表示スクリプトへ遷移 ・[花名の場合=>花の注文スクリプトへ遷移 |
| 想定外の依頼 | ・音量を下げて ・踊って | 8% | 「分かりません」ではなく、「出来ません」のような返答にする |
| ・日本語以外、意図不明な文章 ・音声認識に失敗している、その他 | ・関する ・眠い ・電車が来ない ・ありましたハローズ | 69% | ※音声認識失敗の改善案を参照 |
音声認識失敗の改善案
音声認識に失敗しているせいでうまくマッチしていない文章がいくつかある。
「関する（元：キャンセル）」「木の実の（好みの）」
これらは元々話そうとしている文章とは表層としては全く類似していないため、不明な文章として取られてしまっていた。
この問題の改善策として、元々ユーザーから想定されている質問文章のローマ字読みをインデックスし、ユーザーからきた発言のローマ字読みとのLevenshtein distanceを測り、マッチングさせた。
kansuru = kyanseru
konomino = konomino
この結果、音声認識に失敗している例の中の45%の文章で正しくマッチングさせることができた。
残り55%に関しては、そもそも想定されていない文章だと考えられるため、Q&Aの追加により向上すると思われる。
4. 精度改善結果
上記の改善点を盛り込み、再度１週間ログを取得しそれまでの回答精度と比較を行った結果が下記となる。
| カテゴリ | 精度改善前 | 精度改善後 |
|---|---|---|
| 花注文 | 36.7% | 33.3% |
| プレゼント | 5.6% | 3.2% |
| 地図 | 7.2% | 12.0% |
| 店員 | 2.8% | 2.3% |
| 花言葉 | 5.3% | 3.6% |
| 本日の花 | 3.1% | 0.2% |
| QA | 21.1% | 24.9% |
| 不明な質問 | 32.0% | 20.5% |
全体として11.5%の精度改善が行われ、79.5%の質問に対して正しく回答することが出来るようになった。
5. 今後の改善案
チャットボットが現状日本語にしか対応していないが、ユーザーからの意味不明な文章がログで散見され、これの音声を実際に聞いてみると、英語や中国語の質問であった。
そのため、不明な質問と判断された文章の元の音声ファイルを全件言語認識にかけ、実際の言語を判定すると下記結果となった。
- 英語 76%
- 中国語 9%
- スペイン語 2%
- 不明・その他 13%
上記の結果から、英語に対応させ、英語の質問に対して7割の精度で回答ができるようになったとすると全体としては8.8%の精度向上につながると考えられる。
また、不明な文章と判断された際に回答として「すみません、分かりませんでした」と発言しているが、この回答をした際の次のユーザーの発言に対し感情分析を行った所、58％の割合で不満を示していた。
そのため、ここの発言を「分かりませんでした」ではなく店員を呼ぶような挙動や、「申し訳ございません、勉強中でその質問は回答できません」のようなユーザーの気分を害しないような発言に変更することが望ましいと考えられる。
以上
５．他社のチャットボットとの比較
どの製品にも得意分野、不得意分野がありますが、チャットボットにおいて、最も重要な点はやはり意味解釈の精度です。
まずは、精度で比較判断し、次に信頼性、学習能力等で比較検討して選定するのが良いと考えています。
６．AIチャットボットの技術概要
６－１．AIによるボットの回答生成プロセス
６－１－１．スコア計算ロジックに基づいて、文書類似度をスコア化
クエリに対する、FAQ質問の類似度スコアを計算します。
６－１－２．スコアが同程度の場合、トピックを判定し、フィルタ
トピック（カテゴリ）を判定し、元のFAQ質問のトピック（運賃）と一致した方を採用。
６－１－３．引き当てたFAQの回答を取得し、AIの回答とする
FAQ質問に紐づく回答を取得、それをAIの回答とします。
６－２．AIチャットボットの意図解釈技術
６－２－１．クエリの文章類似度測定技術
クエリを、元々FAQの中にある質問にどれくらい近いかを計算する技術
６－２－２．クエリのトピック分類技術
例えば、航空会社の顧客対応であれば、「運賃」「荷物」「フライト」等クエリのトピック（FAQのカテゴリ相当）分類する技術
６－３．AIチャットボットの技術説明会も開催しています
お客様の声、感想、評判
感想１
チャットボットについて、気にはなっていたが、実状や仕組みを理解できていなかったので、市場動向や実装のイメージ含めて話が聞けて良かった。
また、スクラッチでも既存のサービスの精度を超えられるという実例に驚いた。
感想２
AI技術を俯瞰して（QAボットの位置付けなど）学べます。
私はチャットボットの開発や企画、コンサルティングを行ったりするのでとても参考になりました。
感想３
Chatbotをいくつか作成したがAIの利用についてはこれからだったので勉強になりました。
後続の研修についても検討します。
感想４
「AIチャットボット」がどういうニーズをくんでうまれたのか理解できた。
一例ではあるが、どのような実装をすると実現できるかも知ることができたため、大変有意義な時間だった。
感想５
AI（チャットボット）の現在が理解でき有益でした。
導入アプローチや他社比較など実践的で理解しやすかったです。
感想６
Chatbotをどのように実装するのか理解できていなかった部分が理解できたので良かった。
聞いた内容をもとにチャレンジしてみたい。チャレンジしてムリだった場合や、もっと精度を上げたい時は、次の講習に参加します。
感想７
最近のブームに合わせて機械学習を用いたサービスの実装についてのお話だと予想していたので意外でした。
お話の中にあった実装方法も大変分かりやすく、具体的に自分で実装する際のイメージを明確に持てました。
感想８
概要は知っていても具体的な手法なりプロセスが理解できる内容でよかった。
感想９
流行ではなく実践的な話が非常によかった。
感想１０
ハイブリット型で人も組み込むところがおもしろかったです。
完全自動化でも、回答の候補をいくつか出してあげれば、おおよその人は満足してくれそうな気もします。
このあたり、動くものをスクラッチでいちはやく作ってしまって、利用者のフィードバックをうけるという考えに賛成しました。
感想１１
本日はありがとうございました。
チャットボットを導入することによる効果や、そのための具体的な方法など、とてもわかりやすくご説明いただきました。現在開発に携わっている人でなくとも理解できる内容なのではないかと思います。
７．主な導入実績
株式会社 武蔵野 様
株式会社武蔵野（本社：東京都小金井市 代表取締役社長：小山昇 以下 武蔵野）は、新卒採用ホームページ（https://recruit.musashino.co.jp/）に、SPJの新卒採用向け高精度AIチャットボットを導入致しました。
詳しくはこちら
その他の導入実績
- モンソーフルール様（フラワーショップ・チェーン） AI店員※
- 大手電機メーカー様 情シス部門向け AIチャットボット
- 大手ガス会社様 情シス部門向け AIチャットボット
- 大手SIer様 人材採用向け AIチャットボット
- 大手SIer様 人材採用向け AI人事スタッフ※（AI店員同様のサイネージをイベント会場に設置）
- 大手清掃サービス会社様 新卒採用向け AIチャットボット
- 大手清掃サービス会社様 営業支援 AIチャットボット （営業マンが疑問点をボットに確認する）
- 中堅SIer様 人材採用向け AIチャットボット
- 中堅SIer様 人材採用向け AI人事スタッフ※（AI店員同様のサイネージをイベント会場に設置）
- 中堅証券会社様 情シス部門向け AIチャットボット
- 大手教育会社様 英会話学習ゲーム用 AIチャットボット（英語）
- エディア様 カーナビアプリ用 AIチャットボット（研究開発中）
※AI店員、AI人事スタッフは、AIチャットボットと同一のAIエンジンで構成しています。
８．PoC（概念実証）無料試用環境のご提供
お客様用の検証環境をご用意し、実機でお試し頂くことも可能ですので、お電話、または下記フォームからお気軽にお問合せ下さい。
LINE等、他システムとの連携、各種カスタマイズも可能です。
下記フォームより、PoCご希望の旨をご連絡下さい。接続先情報をお送り致します。
以下、操作方法概要になります。
1. 各画面説明
1-1. デモシステム画面
1-1-1. メニュー
ログイン後、メニューページに遷移します。
- １問１答モードボタン： １問１答モードのページに遷移します
- 聞き返しモードボタン： 聞き返しモードのページに遷移します
- オペレーターモードボタン： オペレーターモードのページに遷移します
- 評価モードボタン： 評価モードのページに遷移します
- ログアウトボタン： ログアウトし、ログイン画面に戻ります
1-1-2. １問１答モード
左のユーザー入力欄からユーザーの質問を入力して送信すると、チャットボットがユーザーが質問に対して類似度スコアの１番高い質問に対する回答を返します。
このモードでは学習は行われません。
1-1-3. 聞き返しモード
左のユーザー入力欄からユーザーの質問を入力して送信すると、チャットボットがユーザーが質問に対して類似度スコアの高い順に３つ質問を返します。
いずれかの質問をクリックするとチャットボットは返答を返し、「オペレーターに直接問い合わせる」をクリックすると、オペレーターに繋がるような表示になり、チャットボットは返答を終了します。（実際に繋がるわけではありません）
管理画面（後述）にて学習モードがオンになっている場合、１位にヒットした質問以外をクリックした際に、ユーザーの質問と回答ペアが新たに学習されます。
1-1-4. オペレーターモード
左側がユーザーが見ている画面、右側がオペレーターが見ている画面の想定のデモページとなります。
ここでは自動チャットボットは現れません。
左のユーザー入力欄からユーザーの質問を入力して送信すると、オペレーター画面に類似度スコアが高い順に質問・回答候補が表示されます。
質問は太字、回答は通常のサイズの文字で表示されます。
管理画面（後述）にて学習モードがオンになっている場合、以下の条件で学習が行われます。
- ２位以下の質問/回答を選択してそのまま送信した場合、ユーザーの質問と選択した回答ペアが学習されます。（この場合学習される回答は入力した回答ではありません。）
- いずれの質問/回答も選択せずにオペレーターが回答を入力した場合
学習された場合は、下記の画像の様に＜学習されました＞と表示されます。
1-1-5. 評価モード
ブラインドテストなどを行う時に使用するモードです。
左のユーザー入力欄からユーザーの質問を入力して送信すると、チャットボットがユーザーが質問に対して類似度スコアの高い順に３つ質問を返します。
質問の下には該当なしのボタンが表示されます。
入力した質問に対して、HITした質問があればそれをクリック、なければ該当なしをクリックして下さい。
ここで評価したログは管理画面から閲覧・ダウンロード可能です。
デモ画面に表示される右下のチャットボットウィジェットに関して
※ログインしている場合のみ回答します。
右下にウェブ上に表示するチャットボットのサンプルが表示されます。
吹き出しマークをクリックするとチャット画面が表示されます。
こちらのチャットボットは実際のサイト上に配置する時と同じく、様々な設定が管理画面から可能です。
詳しくは管理画面の設定項目を見てください。
1-2. 管理画面
1-2-1. Q&A
Q&Aの確認・編集・登録が可能です。
追加ボタンにて追加ページに飛び、【質問】と【回答】欄に入力し、登録を行って下さい。
盛Q（同じ回答で、別の質問の言い回し）がある場合は【盛Q】と記載のある横の追加ボタンをクリックし、盛Qを下記のように追加していって下さい。
※QAや盛Qの修正が全て終わった後、データを学習するためにコミットメニューから【コミット】ボタンを押して下さい。
また、Q&AはCSVから登録することも可能です。
Q&AのCSVダウンロードを行い、質問・回答欄を埋めてからCSVアップロードボタンでアップロードして下さい。
TYPEの欄は空か、「盛Q」が入ります。もし盛Qと入っている場合、その行よりも上にある一番近いQ&Aの質問の盛Qとして登録されます。
1-2-2. シノニム
シノニムの確認・編集・登録が可能です。
シノニムとは同義語のことであり、例えば
スマホ = iPhone
等を登録します。
消す＝消去 等の一般的な同義語はデフォルトの辞書で対応してあります。
詳細を知りたい方はwordnetのサイト（http://compling.hss.ntu.edu.sg/wnja/ )の左カラムの検索から、同義語があるかどうかの検索が可能です。
ひらがな・カタカナは別の単語として認識されるようになっていますので、両方使われそうな場合は、ご登録頂いた方が良いです。
1-2-3. 評価ログ
評価モードにて学習した学習結果の一覧を確認・CSVダウンロードが可能です。
1-2-4. 良い悪い評価ログ
特定のユーザーにのみ有効なメニューです。ユーザー画面での評価結果一覧が表示されます。
1-2-5. 固有名詞
固有名詞の登録が可能です。固有名詞とは、商品名、人名、書名、曲名や映画のタイトルなどの作品名等を表します。
例えば「君の名は」等は固有名詞となります。
1-2-6. 設定
各種設定の編集が可能です。
学習モード
デモ画面の聞き返しモード、オペレータモードにてQAの学習を行うかどうかの設定です。
HTML回答モード
回答にHTMLタグが含まれている場合、HTMLとして表示するかどうかの設定です。
BAD評価時メッセージ
（一部機能を有効にしているユーザーにのみ関係します。）悪い評価が行われたときのメッセージを設定します。
最初のメッセージ
（右下に出現するチャットボットwidgetで有効）チャットボットが最初に発言するメッセージを指定します。
該当しなかった場合のメッセージ
（右下に出現するチャットボットwidgetで有効）ヒットした質問のなかで１番スコアが高かった質問のスコアが聞き返し回答下限スコア（後述）よりも低かった場合、もしくは何にもヒットしなかった場合にチャットボットが返答するメッセージを指定します。
一発回答下限スコア
（右下に出現するチャットボットwidgetで有効）0 ~ 3.0 までの数値を設定します。
このスコアよりも高いスコアで質問がヒットした場合は、その質問の回答を即座に返します。
3.0の場合は全て質問を聞き返します。
聞き返し下限スコア
（右下に出現するチャットボットwidgetで有効）聞き返しする際の下限スコアを設定します。このスコアよりも高い場合は聞き返し、低い場合は無視します。
そのため、一番スコアが高かった質問がこのスコアよりも低い場合、該当無しのメッセージを返答します。
聞き返し下限スコアは一発回答下限スコアよりも低く設定してください。
1-2-7. 同期/コミット
同期
APIからのQA修正等を行った場合は、管理画面と最初に同期をとる必要があります。
APIからの修正後、【同期】ボタンを押して下さい。
コミット
QAや盛Qの修正後、データを学習するために【コミット】ボタンを押して下さい。
2. 初期構築作業
2-1. Q&Aの投入作業
チャットボットに聞かれると想定されるQ&Aをなるべく多く洗い出し、Q&Aとして登録する作業を行います。
以下、Q&Aを考える際の注意点です。
- 同じ回答をチャットボットが行うと思われる質問はすべて１つの質問の盛Qとして登録して下さい。（「SPJの住所は？」＝「SPJはどこにあるの？」等）
- 質問の形式は敬語ではない形で登録して下さい。（☓「SPJはどこにありますか？」、○「SPJはどこにあるの？」）
- 同じような質問・回答はなるべく１つにまとめて下さい。「SPJはどこにあるの？」と「SPJは何区にあるの？」は回答としては細かく分けると別になる事が考えられますが、住所を回答することで２つの質問は１つの回答にまとめられます。
- 通常ユーザーから来る質問文はそれほど長くないため、なるべく~30文字程度で質問文を作成して下さい。
- 後々「チャットボットを賢くしていく方法」によってチャットボットの精度は改善していくため、ある程度思いつく限り入れたらまずは投入して、精度向上サイクルを回していくことを推奨します。
同義語を登録することで対応できる盛Qは、盛Qとしては登録せずに同義語の方を優先して登録するようにして下さい。例えば「SPJの住所は？」と「SPJの所在地は？」という２つの質問を入れるのではなく、「SPJの住所は？」だけを質問として登録し、シノニムとして「住所」＝「所在地」を登録して下さい。 - アルファベットの大文字・小文字は考慮されませんのでご注意下さい。(iPhoneとiphoneは同じ単語として扱われます）
- 質問文に存在する、固有名詞は固有名詞のメニューから登録して下さい。例えば「スーパートマト」という商品名があった場合、固有名詞として登録することによって単に「トマト」という文字が質問として出てきてもスコアは高くならず、「スーパートマト」という文字が出てくるとスコアが高くなります。登録していない場合は、「スーパートマトを買った」という文章と「スーパーでトマトを買った」という文章は同じ文章（スコア）として扱われます。
- すべてのQ&Aの投入後、管理画面からコミットを行って下さい
- 同義語が存在する単語を含めたQを作成する場合、１種類の同義語のみを使用するようにして下さい。例えば「スマホ」＝「iPhone」の場合、「スマホ」のみを使用した文章を作成し、同義語として「スマホ」＝「iPhone」を登録して下さい。（同義語が「スマホ」＝「Android」等複数になった時に２つ目の同義語以降がヒットしなくなるため）
実際の投入方法はQ&Aの章を参照して下さい。
3. チャットボットを賢くしていく方法
チャットボットは質問やシノニムを追加していく事でより精度の高い回答をすることが可能です。
各フェーズでの注意点を記載します。
3-1. 評価モードを使う方法
評価モードにてブラインドテスト（どんなQ&Aを登録されているかを知らされていない被験者が、自由に質問を投げていくテスト）を行う事でチャットボットの学習を行います。
下記の手順で学習を行います。被験者の人数は多いほど精度が早く精度が向上していきます。
- デモシステム画面にログインし、評価モード画面を開きます。
- 自由に質問文を入力し、正解の質問候補、無ければ「該当なし」を選択します。
- ２の作業を数十回から数百回程度繰り返します。
- 管理画面の「良い悪い評価ログ」を選択します。
- CSVダウンロードし、Excelにて開き、ヒット順位が-1であるデータをフィルタリングして表示します。これらのデータがユーザーの質問に対する回答がなかったデータとなります。
- ユーザーが入力した質問が、すでに既存のQ&Aにある質問の別の言い方である場合はシノニムの追加もしくは盛Qの追加を行います。
- デモシステム画面の聞き返しモードを開き、追加した質問を入力し、正しい回答が一番上に来るかどうか確認します。
- 6,7の作業を最後のデータまで繰り返します。
- 次に、ヒット順位が1でも-1でもないデータを表示します。（これらのデータは、質問にはヒットしているが、一番目にはヒットしていないデータです。質問候補としては出ているのでユーザーはその質問を選択することにより回答にはたどり着くことが可能ですが、これらのデータから新たなシノニム・固有名詞のヒントを得ることが出来ます。）
- 表示されたデータから、同義語・固有表現を追加する事でより順位が上がりそうな場合、追加します。
- コミットを行います。
- 過去に正しくヒットしたデータについても再度チャットボットに投げて、正しく回答が返ってくるかどうかをチェックします。（プログラムが書ける場合はAPIを使用すると素早くチェックが可能です。）
お電話
03-4405-4347 （平日 9:00 – 17:30）