音声感情解析AIで元気度を測定してみた【日本語で検証】
Empathこんにちは。
株式会社シーエーシーのEmpath事業推進室、柳原です。
私たちは、音声感情解析AI「Empath」を提供しています。
発話の意味内容は考慮せず、音響特徴から感情を検出するAIです。
Empathが検出できる感情には「喜び、怒り、悲しみ、平常」に加えて
「元気度」という指標があります。
Empathについてこのようにご説明をすると、ほとんどの人から以下のように聞いていただきます。
「実際、これって当たるんですか？」
例えば、「元気度」は心理学の先行論文を参照しつつ、弊社の保持するデータを下敷きに、抑うつ傾向に関連する音響パラメーターを使いながら解析を最適化する処理を加えて構築をした指標となっています。従って弊社保有のデータに対しての妥当性は一定の水準で担保がされています。
ですが、実際に使ってみるとどんな結果になるのか？という部分も気になる部分ですよね。
そこで、今回は実際にEmpathで「元気度」を測定し記録する、「Empathを検証してみた」結果をご紹介いたします。
協力していただいたのは、Empathを搭載したメンタルヘルスケアツール「Myempathy」を提供されているニュージャパンナレッジ様です。
音声感情解析AIの当たり具合を体験してみた記事は珍しいと思いますので是非楽しみながらお読みいただけますと幸いです。
目次
- 検証環境
- 個人の検証結果
・Sさん
・Mさん
・Nさん
・私 - 全体結果まとめ
- おわりに
１. 検証環境
検証環境は以下の通りです。
検証期間：3月初めごろから4月12日まで記録(中盤2週間抜けあり)
使用ツール：ニュージャパンナレッジ様提供の「Myempathy」(トップページ - Myempathy（マイエンパシー） | 一歩進んだメンタルヘルスケア)
検証内容：Myempathyを使って、元気度を定期的に記録。記録期間終了後に、元気度の上がり下がりと実際のメンタル状況がどのくらい比例しているのかをインタビューにより検証。
検証者：Empathチームメンバーの中から4人、全員フルリモートワーク
検証頻度：基本的には毎日、勤務始めの時間帯に記録
前提知識：
・Myempathyは5秒ほどの音声を元に元気度を測定するツールです。
・毎日記録する事で個人の平均値を算出し、その値と比べて極端に低い値が出た時にはアラートが出る仕組みとなっています。
中盤2週間の抜けですが、記録リマインダー役の私が諸事情によりリマインドできず、見事にその期間が抜け落ちてしまいました...
また、ところどころツールを使用しなかった日(休日や記録忘れなど)による抜けもあるため、元気度推移の線グラフが見にくくなっています。
予めご了承ください。
それでは、実際の記録とインタビュー結果を見てみましょう！
２. 個人の検証結果
・Sさんの場合
まずは、Sさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Sさんは基本的に元気度が10~15の間で推移しています。
4/2の極端に低い日を除いた平均値は、10.5でした。
では、実際に4/2は何か嫌な出来事があったのでしょうか？
3/12の最も高い値の日は何か良いことがあったのでしょうか？
Sさんにヒアリングをしてみました。
Sさん「基本的に、3月~4月は心にゆとりがあり、気分が安定していた期間でした。基本的に高い値が出ていますが、個人的には違和感はありません。また、4/2の低い値の時ですが、この時はなぜかMyempathyに接続できず4回くらいやり直し、「もういいや...」と思っていた時に測定されたものですので、システムエラーか気分の下がり具合、どちらかが影響してこのような値になったのかなと思います。」
特にメンタルでの上がり下がりが無かったため基本的に高い元気度が出ていた、という事ですね。
ある程度現実に即した精度が出ている、と取れそうです。
・Mさんの場合
次に、Mさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Mさんは基本的に元気度が4~11の間で推移しています。
平均値は、7でした。
では、元気度が低い3/12や4/9は実際に何か嫌な出来事があったのでしょうか？
3/5や4/4の最も元気度が高い値の日は何か良いことがあったのでしょうか？
以下Mさんからのヒアリング内容です。
Mさん「頭痛でテンションが低かった時には元気度が低く出ている傾向がありました。4/4は、元気度を測る直前に自分が主催しているマネージャー研修会で、研修生の発表内容が良くてテンションが高かったからかな。全体的な所感ですが元気度の値は自分の実際の状態とおおよそ一致している印象です。」
Mさんは片頭痛をお持ちで、私も朝会でMさんの声を聴くと「ああ今日は頭痛が辛そうだな…」と分かることがあります(画面オフの朝会)。身体状態に起因したメンタルの落ち具合が反映されていたということかもしれません。断定的に「この日にこれがあったから、この値だ！」というお話はなかったので、あくまで個人の体感的に違和感はない測定結果だ、といったところにとどまります。
ここまで仮説ベースで検証結果を分析していますが、残り二人の事例を見ると仮説にも共通項が見えてきます。
この点は最後にサマライズしたいと思います。
・Nさんの場合
次に、Nさんの例を見てみましょう。
記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
Nさんは基本的に元気度が-1~10の間で推移しています。
平均値は、3.7でした。
では、元気度が下がっている3/11は実際に何か嫌な出来事があったのでしょうか？
4/12の最も元気度が高い値の日は何か良いことがあったのでしょうか？
Nさんにヒアリングしました。
Nさん「実はどの日もだいたい朝〜午前中に計測していて元気がないことが多いので、3月の下がり方は本人としては違和感がなくて…(汗) 4/12の元気度が高くて私もびっくりしましたが、計測前に用事で外に出ていたので、自分でも気づかないうちに身体が目覚めていたんですかね…？」
リモートワークという事もあいまって、朝、起きてすぐに仕事をすると元気度が低く出てしまうのかもしれません。
外出すると元気度が高くてびっくりした、というお話しですが、実は私も同じような現象を体験して驚きました！
詳しくは私の結果のところでお話しします。
・私の場合
私の記録結果は以下のようになっています。
元気度が０になっているところはツールを使用しなかった日(休日や記録忘れなど)ですので、０以外の部分をご覧ください。
私の場合、基本的に元気度が3~9の間で推移しています。
平均値は、5.3でした。
元気度が特に下がっているのは3/5, 11, 14, 4/2、
元気度が特に高いのは4/8,11となっています。
自分のスケジュール管理アプリと照らし合わせながら何があったか思い出してみました。
まず元気度が下がっている日に関してですが、これは自分の中で違和感がありません。正直に申しますと、休み明けの月曜、休みに入る金曜日は大体元気になるのに対して、週の中日は疲れなどで少し元気がなくなる、というのが私の周期です(汗)(自分ではそんなに声に違いを感じないのですが、、Myempathyには分かるのでしょうか？)
次に、元気が特に高かった日ですが、これを見ると面白いことが分かりました。4/3, 4,11は、私にとって珍しい「出社日」だったのです！先ほどNさんの例でも同じような現象が見られましたよね。
リモートワークなので、普段は一歩も外に出ない日もあるのですが、やはり外に出る事は大切なようです。
そして最後に、最も元気度が高かった二日のうちの一日、4/8ですが、私はこの日元気度が高く出たことにとても腹が立ちました(笑)というのも、実はこの日は胃腸炎になってしまい、体調が悪すぎて1時間で早退した日だったのです。
ですが、他の皆さんの記録結果とヒアリング結果を見ているうちに、このような考えが浮かびました。
「私の元気度がとても高くなっていたのは、胃腸炎によってかなり興奮状態だったからかも？」他の人の事例で、頭痛や朝起きたばかりといった気持ちがズーンと落ち込むような時には元気度は低く出やすかったのに対して、この日の私は「ぎゃー」と叫びたくなるような痛みで、辛すぎてベッドを転げまわっていました。
それによって活性レベルが上がってしまったのかもしれない、と思いました。
3. 全体結果まとめ
ここまでで見た4人の事例をふまえると、元気度の出方に対して以下のような傾向が見えてきました。
- 頭痛や朝の怠さや疲れなど、『ずーん』とした気持ちの時に低く出やすい
- 身体が辛くても、興奮状態だと元気度は高く出てしまう事がある
- 「元気なのに元気度が低い！」「メンタルが辛いのに元気度が高い！」そういったギャップを感じる事はあまりない (結果に違和感がない)
- 元気度の測定結果は、一定の範囲内(個人個人によって異なる)を上下動している。
- 朝、外に出ると元気度が高く出やすい
このように結果をまとめて、ふと私は思いました。
「そういえば、Sさんはジョギングの習慣があるけど、もしかして朝にやっていらっしゃるのでは？もしそうならば、Sさんが4人の中でもダントツ元気度平均が高い理由はそれかも」
結果は。。
やはり、Sさんは朝に外に出られていました！
記録をいただいて確認したところ、平日だけでも週に二回程度走られていました。
正直なところ、Myempatyの記録漏れなどもあり「ジョギングした日ピンポイントで元気度が上がる」と言い切るのは難しいですが、習慣的な運動が元気度を上げているとは考えられそうです。
さらに上記であげた「朝、外に出ると元気度が高く出やすい」という傾向の信憑性が高まる結果となりました。
最初に説明したMyempathyの仕組み、
「毎日記録する事で個人の平均値を算出し、その値と比べて極端に低い値が出た時にはアラートが出る仕組みとなっています。」に関して今回アラートが出た人はいませんでした。
4. おわりに
Empathで「元気度」を測定した様子をご覧いただきましたが、どう思われたでしょうか？
私は「思っていたよりも明確な傾向が見られたな」と感じました。
この「元気度」は、Myempathyのようなメンタル管理ツールやコールセンター様でのオペレーターケアソリューションなど、様々なところにご活用いただいております。
新しいソリューション開発などに取り入れていただくことも可能ですので、お気軽にお問合せください。
Myempathy(Empath搭載ツール)についてはこちら→トップページ - Myempathy（マイエンパシー） | 一歩進んだメンタルヘルスケア
Empath(音声感情解析技術)についてはこちら→音声感情解析AI Empath (webempath.com)
このMyempathyを検証してみた記事ですが、実は英語やインドネシア語でも検証を進めていました！(Empathの開発チームはインドネシアにいるのです)
次回の記事でご紹介いたしますので、こちらもご覧いただけましたら幸いです。
