「感情認識AI」で表情訓練　好かれる営業、プレゼンに効くアプリ

笑顔を浮かべているのに相手に冷たい印象を与えてしまう。真剣に話を聞いているのにニヤつかないよう注意を受けた。そのような経験はないだろうか。

自分の表情が相手にどのような印象を与えるのかを把握し、プレゼンやお詫びなど状況に適した表情や話し方ができるということは、社会人、特に営業職に就く者にとって欠かせないスキルだ。「感情認識AI」を活用してこのスキルを習得する表情トレーニングアプリが、今、社会人のコミュニケーションスキル向上に一役かっている。

感情認識AIとはどのような技術で、表情訓練にどう活かされているのだろうか。また、オンライン会議で感情やリアクションを共有する、飲食店で客の表情や視線から関心が高そうなメニューをAIが提案するなど、感情認識AI技術を活かすさまざまな活用例についても探ってみた。

「感情を可視化」する感情認識AIとは何か

感情認識AIとは、表情筋の動きなどから、人の感情・気持ちの変化・興味や関心の度合などを読み取るAI技術のことをいう。感情推定、感情分析などと呼ばれることもある。簡潔にいうと、人の感情を分析して可視化する技術だ。

AIの感情認識は主にディープラーニングで進められる。例えば、2021年にドライバーモニタリングのSmart Eyeに買収されたAffectivaの感情認識AI「Affdex」を例にとろう。

Affectivaは世界90カ国以上から収集した990万人以上の顔画像データを保有している。このデータを、顔のあらゆる動きを計測してデータ化できるFACS（Facial Action Coding System）理論に基づいて、FACSの専門知識を持つスタッフがAI学習のためのタグ付けをしてディープラーニングに用いることで、AIによる精度の高い感情分析を可能にしているのだ。

人間では見落としてしまいかねない微表情や感情の機微もとらえて可視化ができる感情認識AIは、さまざまな分野で実用化や実用化に向けた取り組みが行われている。その一例が、感情認識AIを活用した表情トレーニングアプリだ。

営業やプレゼンに効く表情訓練

表情トレーニングアプリ「心sensor for Training」は、表情筋の動きを感情認識AIが解析し、どのような印象を与える表情をしていたかを採点・評価するアプリである。日本で最初の独立系ソフトウェア専門会社であるCACが、前述の感情認識AI「Affdex」を使って独自開発した。

「笑顔」「好感度」「お詫び」「真剣」を分析指標に、「自分の表情が相手からどう見えるのか」について人間の主観が入らない客観的な評価を知ることができる。ネットワークへの接続なしに表情訓練の実施と実施結果の確認ができること、アプリをスマートフォンにダウンロードすれば「いつでもどこでも」訓練ができることが特長だ。

また、採点モードでは音声解析技術で話している内容も採点できる。Speech to Text技術で練習生が発生した言葉をテキストに変換し、文字数から発話速度を評価したり、登録されているキーワードが含まれているか、台本を登録している場合には台本通りに話ができているかといったことを評価するのだそう。

このアプリでトレーニングを続ければ、営業、プレゼン、接客といった場面で、相手により好まれる表情や発話速度で接することができるようになるというわけだ。ただし、マスクを着用していると口元周辺の表情がきちんと推定できない。同じく、髪の毛で顔が隠れていたり、サングラスをしている場合なども結果に影響が出ることがあるため、顔をきちんと見えるようにしてトレーニングをすることが大切だ。

CACは今後、前述した4つの表情以外も評価項目に加えることを検討しているほか、トレーニングの成績上位者との比較機能、改善ポイント提示機能の強化、ジェスチャーや所作の可視化と分析、相手と自分の対話状態の評価などができるよう研究を進めている。

表情トレーニングアプリの活用事例

ここで、表情トレーニングアプリ「心sensor for Training」を導入している事例を2つ紹介したい。明治安田生命とリクルートスタッフィングだ。

自信を持って業務を行えるようサポートー明治安田生命ー

明治安田生命では、全国の「MYライフプランアドバイザー」と呼ばれる営業職員が、2020年9月から業務用スマートフォン（MYフォン）で「心sensor for Training」の利用を開始した。

アプリ導入の目的は、顧客満足度および顧客サービスの向上だ。外出前の笑顔チェックに始まり、スマホならではのいつでもどこでも使えるセルフトレーニングに活用している。CACと明治安田生命が共同でアプリの開発を進め、順次バージョンアップを行っている。ＭＹフォンを持っている3万7千名が全員利用できる環境である。

ゲーム感覚で笑顔を磨くーリクルートスタッフィングー

リクルートスタッフィングは、笑顔を磨くスマートフォン向けアプリ「心sensor for Recruit Staffing」を2021年10月にリリースした。笑顔を磨くことで就業先でのコミュニケーションを円滑にし、派遣スタッフが自分らしく働くことができるようにすることが狙いだという。

もともと同社は、登録スタッフが研修などで自社を訪れた際に自由に笑顔トレーニングができるよう、CACと共同で開発したWindows版の「心sensor for Training」を研修エリアに設置していた。だが、新型コロナウイルスの影響で集合研修を行うことが難しくなったため、アプリとしてカスタマイズして登録スタッフに提供することになったのだ。

34のフェイスポイントの動きを元に、7つの感情を理解した感情認識AIが練習者の表情をリアルタイムで分析してくれ、ゲーム感覚で手軽に笑顔磨きが実施できると期待されている。

感情認識AI技術がもたらす新しい日常

感情認識AI技術の活用は、表情訓練だけにとどまらない。

例えば、CACではオンライン会議上で感情やリアクションなどが共有できる「心sensor for Communication」も提供している。 ZoomやTeamsなどを使ったオンライン会議でカメラをオフにしていても、仮想カメラで表情やジェスチャーを読み取ることができるというものだ。

また、OKIと日本サブウェイ合同会社（以下、サブウェイ）は、今年8月にAIを用いた感情推定技術を活用した「提案型注文システム」の実証実験をサブウェイ店舗で実施している。

「提案型注文システム」とは、セルフ注文端末のカメラから表情データと視線データを得て、AIを用いた独自のアルゴリズムで客に興味・関心が高そうなおすすめメニューを提案するというシステムだ。メニュー選択時の迷いの解消、注文をサポートすることによる「注文の仕方がわからない」という客の緊張や焦りの緩和、接客業務の効率化、ウィズコロナ時代に求められる非対面・非接触操作による注文の有用性の検証を目的として実証実験は行われた。
コロナ禍下であることを考慮して、実証実験は平日5日間3時間で実施されている。この実証実験において、感情推定技術を活用したAIのおすすめ注文を評価した実験参加者は155名だった。参加者のアンケートにおいて、AIのおすすめ注文は「メニューが多い場合、決めるのがプレッシャーなので助かる」「店員に気を遣わずに注文できる」など高評価であったという。

実証実験の結果、AI精度は7割強、実験参加者に「AIにおすすめされる」ということに対する大きな抵抗感は見られなかった。OKIは、来年2～3月頃にも別の事業で再び実証実験を行うことを予定している。

AIを用いた感情推定技術は、例えば駅のキオスク端末で興味・関心推定を利用して観光や食事などの情報提供を行ったり、スーパーやコンビニなどのセルフレジで困り推定を利用して操作がうまくいかずに困っている人を支援するといったことにも活用が考えられるという。

機械やAIでは人間の感情に寄り添うことはできないという考え方は、今や過去のものになろうとしている。AIが人の感情を人以上に推定・認識してサポートをしてくれる、感情認識AI技術がもたらすそんな新しい日常がすぐそこまで来ているようだ。