AIチャットボットの導入効果を検証する実験結果レポート

AIチャットボットがどの程度ユーザーの時間的コストを削減できるか、この度当メディアで検証実験を行いました。本コラムではその結果をレポート致します。

AIチャットボットの導入効果を検証する実験概要

実験では、架空の行政区「渋谷区」の子育て給付金制度に関する問合せ窓口をAIチャットボットに対応させた場合、問合せしてきたエンドユーザー（区民）が知りたい情報をどの程度早く得られるかということについて、検証しております。人間による電話対応と比較した場合、質問の粒度にも依るところはあるものの、より早く正確な回答を得られることが期待できると結論づけております。 なお、本コラムに登場する「渋谷区」は、実際に存在する東京都渋谷区ではございません。読者に分かりやすく説明するために便宜上、架空の行政区として登場させております。

被験者ユーザーの検証環境設定

検証実験には、主婦・子育て世代の女性9名に以下のような設定を与えます。

「あなたは渋谷区民です。子どもを3人もつ母親であり、区の子育て給付金制度について知りたく、区役所窓口にチャットで問合せようとしています。窓口ではAIチャットボットが応対してくれます。AIチャットボットに質問を投げかけ、あなたが知りたかった情報を正確に得て下さい。」

また被験者が知りたい情報は以下の23種類と致しました。

• 1人目のお子さんに支給される金額はいくらですか？
• 3人目のお子さんに支給される金額はいくらですか？
• 申請はどこで出来ますか？
• あなたのお子さんは支給対象ですか？
• 申請者が単身赴任の場合について調べてください。
• お子さんに支給される金額はいくらですか？
• 郵送で申請する時の住所を調べてください。
• 申請書をダウンロードしてください。
• 現況届について調べてください。
• 窓口での申請先を調べてください。
• あなた（申請者）は支給対象ですか？
• 長男に支給される金額はいくらですか？
• 支払われる時期はいつですか？
• 公務員の場合の申請についてお調べください。
• 引越してきた場合どのようにすべきかお調べください。
• 申請場所は窓口だけですか？
• 申請に必要なものはなんですか？
• 第一子のお子さんは支給対象ですか？
• 第一子のお子さんに支給される金額はいくらですか？
• 現況届について調べてください。
• あなた（申請者）は所得制限限度額を超えていますか？
• 申請にあたって注意することを調べてください。
• 子ども手当てについて概要を理解してください。

このうち、実験者から被験者にひとり5設問ずつランダムに出題し、被験者自身が知りたい情報を把握した後、AIチャットボットにフリー入力でチャット質問をしてもらいます。最短で正しい回答を得られるよう指示を出し、質問開始から正答を得るまでにかかった時間を測定致しました。また、AIチャットボットは以下のものを実験用に用意し使用致しました。 子ども手当てチャットボット

正答を得る時間は数十秒～数分程度という結果に

結果は以下の通りとなりました。

被験者のITリテラシーに依存する部分もあるため、ユーザーごとに多少のばらつきはあるものの、概ね数十秒から数分程度で、正確な回答を得られていることがわかります。そして1設問あたりにかかった正答獲得時間は平均1分40秒という結果になりました。

AIチャットボット導入が時間コスト削減対策となる

本検証は、あくまでも"簡略的"な質問に対する回答を得るための実験でした。概ねその質問は1次問合せ窓口を想定したものとなっております。なぜなら対コンシューマ向けであれ、社内向けであれ、一般企業がAIチャットボットを導入する際に、ボットの対応範囲としてまず考えられるのが、FAQページなどに載せられる「よくある問合せ」と同等レベルのものであるからです。

その状況下で、今回の結果から考えられることは、おそらく電話による正答獲得時間よりも、チャットによる正答獲得時間のほうが短くなることが分かります。電話であれば、「電話番号をプッシュする時間」「コール待ち時間」「要件を伝える時間」「回答を聞く時間」が発生するのに対して、チャットであれば「テキスト入力時間」「回答を読む時間」のみとなります。さらに、対コンシューマ向けであれば、24時間365日対応となるため、顧客満足度が上がる可能性があります。社内向けの導入では、エンドユーザー（社員）の業務効率化が期待できます。質問者側は「情報を探す時間」が減り、回答者側は「質問を聴く時間」と「質問に答える時間」が無くなります。