音声感情解析AIで元気度を測定してみた【外国語で検証】
Empathこんにちは。株式会社シーエーシーのEmpath事業推進室、柳原です。
私たちは、音声感情解析AI「Empath」を提供しています。
発話の意味内容は考慮せず、音響特徴から感情を検出するAIです。
Empathが検出できる感情には「喜び、怒り、悲しみ、平常」に加えて「元気度」という指標があります。
前回こちらの記事で、実際に「元気度」は当たっているのか？をEmpathを搭載したメンタルヘルスケアツール「Myempathy」を使用して検証しました。
この記事では元気度が出るときの共通項が見えてきて、非常に面白い結果となりましたので、まだご覧になっていない方は是非お読みください。
この前回の記事では日本語で検証を行ったのですが、今回はなんと英語&インドネシア語で検証を行ってみました！
冒頭でご説明したように、Empathは発話の意味内容は考慮せず音響特徴から感情を検出するので、言語を問わずに活用いただけるのです。
また、Empathの開発チームはインドネシアにいるので、インドネシア語や英語で協力してくれる人が有難いことに沢山いるのです。
音声感情解析AIによる元気度分析は、外国語に対しても当たるのでしょうか？是非楽しみながらお読みいただけますと幸いです。
目次
- 検証環境
- 個人の検証結果
- ・Cさん(インドネシア語)(Bahasa Indonesia)
・Lさん(インドネシア語)(Bahasa Indonesia)
・Jさん(英語)
・Rさん(英語)
・Bさん(英語) - 全体結果まとめ
- おわりに
１. 検証環境
検証環境は以下の通りです。
検証期間：3月中旬ごろから4月12日まで記録
使用ツール：ニュージャパンナレッジ様提供の「Myempathy」(トップページ - Myempathy（マイエンパシー） | 一歩進んだメンタルヘルスケア)
検証内容：Myempathyを使って、元気度を定期的に記録。記録期間終了後に、元気度の上がり下がりと実際のメンタル状況がどのくらい比例しているのかをインタビューにより検証。
検証者：Empathチームメンバー(海外在住)の中から5人、CさんLさんRさんは出社、JさんRさんはハイブリッド。
検証頻度：海外ということもあり、基本的には彼らに任せていたので、検証時間については不明。
前提知識：
・Myempathyは5秒ほどの音声を元に元気度を測定するツールです。
・毎日記録することで個人の平均値を算出し、その値と比べて極端に低い値が出た時にはアラートが出る仕組みとなっています。
ところどころツールを使用しなかった日(休日や記録忘れなど)による抜けもあるため、元気度推移の線グラフが見にくくなっています。予めご了承ください。
それでは、実際の記録とインタビュー結果を見てみましょう！
２. 個人の検証結果
・Cさんの場合
まずCさんの場合を見てみましょう。
Cさんは、前回今回含めて唯一のアラートが発令された人でした。
では、実際にそのアラートは当たっていたのでしょうか？
詳しく見てみましょう。
下記グラフがCさんの元気度の推移です。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。(Cさんの場合、0が値として出ていた可能性はありますが区別ができていません。)
Cさんの場合、基本的に元気度が-13～-1(又は0)の間で推移しています。
平均値は、0をカウントせずに、-5.6でした。
元気度が特に下がっているのは4/3、
元気度が特に高いのは3/15、4/8となっています。
Cさんは全ての値が0より下で、「毎日基本的に低めの値が出ているな」と私は管理画面を見ながら思っていました。
しかしだからといって毎日アラートが出たわけではなく、ある特定の日にアラートが出たのです。
それが一番元気度が低い4/3の出来事でした。
私はCさんの直属の上司に、「アラートが出たんだけど、Cさんに調子はどうか聞いてみてください」と頼みました。
すると「本当に、今日から体調が悪くなっていました」との返信がきたのです！
体調不良を検知してアラートが出ていた例です。
後日、直接Cさんにヒアリングをしてみたところ…
・4/3は実際に体調が悪かった
・他の日は概ね気分が良かった。
・自分の声は、低くて小さいため元気度が低い結果になったのかもと考えている(他の人の低い声が、自分の高い声と同レベルだったりするそうです)
とのことでした。
人によって声の元気度は様々ですが、Myempathyはきちんと個人に合わせて分析を行い、個人の中の変動を見ているのだ、ということがよくわかる例でした。
・Lさんの場合
次に、Lさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Lさんの場合、基本的に元気度が4～13の間で推移しています。
平均値は、8.2でした。
では、元気度が下がっている3/25は実際に何か嫌な出来事があったのでしょうか？
3/15、 3/18の最も元気度が高い値の日は何か良いことがあったのでしょうか？
Lさんにヒアリングをしてみたところ…
・測定していた期間に、特別に嬉しいことや悲しいことはなかった
・仕事をする中で、悲しい気持ちになったり何か感情的になることはほぼなく、基本的にはいつもハッピー、または気分が良い。
・特に元気度の出方に対して違和感は感じない
とのことでした。
基本的に安定した気持ちで仕事をしているとのことで、元気度は日々変動していますが基本的に高い値が多く、アラートも出ていないことからこのような変動は通常の範囲内なのだ、と言えるでしょう。
・Jさんの場合
次に、Jさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Jさんは基本的に元気度が2～10の間で推移しています。
平均値は、6.3でした。
では、実際に元気度が最も低い3/21は何か嫌な出来事があったのでしょうか？
最も元気度が高い値の4/3は何か良いことがあったのでしょうか？
Jさんにヒアリングをしてみたところ…
・一番低かった3/21は、前夜にパートナーと喧嘩をして話合いが長く続き、睡眠不足だったのでそれが影響したのかもしれない
・4/3は特に何があったか覚えていない
・グラフの動きに違和感はない
とのことでした。
前回の記事でも見られた傾向ですが、「ズーン」とした重さを感じるような体の不調がある時には、元気度も低く出る傾向が見られます。
・Rさんの場合
次に、Rさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Rさんは基本的に元気度が-4～7の間で推移しています。
平均値は、1.1でした。
では、元気度が最も低い4/1は実際に何か嫌な出来事があったのでしょうか？
4/9の最も元気度が高い値の日は何か良いことがあったのでしょうか？
Rさんにヒアリングをしてみたところ…
・4/1も4/9も何か特別な事が起こったとは記憶していない
・4/1は断食をしていたのでそれが影響したのかもしれない
とのことでした。
「断食」という要素が声にも影響を与えていることが分かりますね。
・Bさんの場合
次に、Bさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Bさんは基本的に元気度が-2～8の間で推移しています。
平均値は、4.6でした。
では、元気度が下がっている3/13は実際に何か嫌な出来事があったのでしょうか？
3/15、3/19、4/12の最も元気度が高い値の日は何か良いことがあったのでしょうか？
Bさんにヒアリングをしてみたところ…
・3/13は初めて録音を行う日で、午後に行ったので元気がなかったのかもしれない
・3/15と3/19は朝だったため元気だったのかもしれない
・4/12はIed Fitrセレブレーション(イスラム教の祝祭)のムードにまだ包まれていたので、お祝いムードであった
・もっと元気だ！と出た値に対して思う時もあったが、概ね期待通りの結果だった。
とのことでした。
Bさんは午前は元気で午後になると元気がなくなる傾向があるようですね。
また、「本当はもっと元気だ！」と思うこともあったということで、元気度は前述のLさんのように「元気な状態」の中でも、ある程度値がばらつくのかもしれません。
しかし、アラートが出ることもなく、基本的には高い値を推移しているので概ね正常な動作だと言えるでしょう。
3. 全体結果まとめ
今回の検証で分かったことをまとめると、
- 個人によって声の元気度平均は様々だが、しっかりと1人1人の基準に合わせて、個人の中の変動を見ている
- 「ズーン」とした身体の重さを感じる時に元気度は低く出やすい
の大きく2つに分けられるでしょう。
特に、1つ目のポイント、「個人の中の変動を見ているので、個人個人に寄り添った元気度モニタリングができる」というのは普段からお客さまにお伝えしていることですが、こうしてこの記事で実例をお見せすることができてとても良かったです。
2つ目のポイントは、前回の記事でも顕著に見られた傾向でした。言語を問わずこの傾向が見られるということが分かりました。
4. おわりに
Empath搭載のMyempathyで「元気度」を測定した様子をご覧いただきましたが、どう思われたでしょうか？
私は、実際にCさんにアラートが発令され、実際の状況を確認して「本当にその日から体調が悪かった」ということを知った時に改めてEmpath/Myempathyの当たり具合に驚きました。
この「元気度」は、Myempathyのようなメンタル管理ツールやコールセンター様でのオペレーターケアソリューションなど、様々なところにご活用いただいております。
新しいソリューション開発などに取り入れていただくことも可能ですので、お気軽にお問合せください。
Myempathy(Empath搭載ツール)についてはこちら→トップページ - Myempathy（マイエンパシー） | 一歩進んだメンタルヘルスケア
Empath(音声感情解析技術)についてはこちら→音声感情解析AI Empath (webempath.com)
DMでも情報発信しております。 DMの配信登録はこちらから
この記事に関するお問い合わせはこちら
株式会社シーエーシー
Empath事業推進室
empath_info@cac.co.jp
