人間は人工音声とどのようにして一緒に歌うのか

神戸大学大学院人間発達環境学研究科の博士課程後期課程2年の西山理奈氏と、同研究科野中哲士教授は、人が人間または人工音声のパートナーと一緒にあわせて歌う際に、歌唱における協調の仕組みがどう異なるのかを検証しました。人工パートナーは一定のテンポを保って歌う一方で、人間のパートナーはクリック音で歌い出しのタイミングを合わせた後、自分のテンポで歌っており、テンポにはゆらぎが含まれています。参加者と相手の各歌声の強弱の時間変化パターン（振幅包絡線）について、タイミングの協調に関わる類似性、予測性を評価しました。その結果、参加者は人工パートナーと一緒に歌うときよりも、人間のパートナーと一緒に歌うときに、相手を先回りしてあわせる予期的同期の傾向をより強く示すとともに、より正確に相手の歌に自身の歌のタイミングを合わせていることが明らかになりました。また、歌っている相手の映像を見ながら歌う場合には、相手に先行する予期的な同期の傾向が強まることもわかりました。これらの結果から、人間の歌声や動作には、相手が次にどのように歌うかを予測するための情報が含まれている可能性が示唆されました。

この研究成果は、6月15日に、認知科学分野の国際学術誌『Frontiers in Cognition』に掲載されました。

ポイント

人は、一緒に歌う相手が機械か人間かによって、歌い方や歌の合わせ方が異なっていた。
人間が相手の場合、人は先回りして歌う傾向が強く、その傾向は相手が見える状態だとさらに強まった。
人間の歌声や動作には、相手が次にどう歌うかを予測するための情報が含まれており、こうした情報を同定できれば、人と機械の自然な協調の生成に利用できる可能性が示唆された。

研究の背景

近年、情報科学技術の急速な進歩によって、人間らしい音声を生成することが可能になっています。音声合成技術を用いることで、機械は人間に極めて近い音声を作り出すことができます。音声は、人間と機械の相互作用や協調行動において中心的な役割を果たし、その技術は急速に発展しています。しかしその一方で、様々な場面において、人間と機械が音声を介して円滑なやりとりを行うことや、協調して一緒にタスクを遂行することには、未だに多くの問題が残されています。その背景のひとつには、人間と機械が、互いの行動の流れを把握し、他者がこれから何をするのかを予期することの難しさがあります。

研究の内容

本研究の問いは、人が相手と一緒に歌うときに、その相手が機械か人間かによって、どのように歌を合わせる方略が変化するのかということです。実験では、13名の女性参加者が、パートナーの歌声に合わせて、「きよしこの夜」をユニゾンで歌いました。この課題では、2種類のパートナー（人間パートナーまたは人工パートナーの歌声合成ソフトウェア「VOCALOID AI」）と、2つの視覚条件（パートナーの映像の有無）を組み合わせました。人工パートナーの動画は、AI動画生成プラットフォーム（Hedra Character 3）を用いて、人工パートナーの合成音声と人間のパートナーの静止画像を組み合わせて作成しました。協調性は、歌声の振幅包絡線^※1について、相互相関分析およびグレンジャー因果性検定を用いて評価しました。これらの分析を用いることで、振幅包絡線の時間変化パターンに関する類似性や同期性、時間的な影響関係について調べることができます。

その結果、一緒に歌う相手が人工パートナーである場合よりも、人間と歌う場合の方が、参加者とパートナーの歌声における振幅包絡線の類似度が高く、参加者が先回りして歌う傾向が強くなりました。さらに、相手が見える状態、つまり視覚情報があると、先回りして歌う傾向はさらに強くなることがわかりました。

**図1．歌声における振幅包絡線の時間変化パターンの例（A）視覚情報なし（B）視覚情報あり。**

**図2．歌声における振幅包絡線の時間変化パターンについて、相互相関分析の結果（A）類似性（B）先行性（C）同期性。**

今後の展開

これらの知見は、人間のような社会的・音楽的相互作用を支援することを目的とした人工パートナーの設計に示唆を与える可能性があります。相手の未来の行動を事前にほのめかすような情報を考慮に入れることによって、人と音声を介して円滑にやりとりする人工エージェントを実現するアプローチが考えられます。今後は、歌声のタイミングの揺らぎや呼吸音、体の動きを詳細に調べることで、人と人工パートナーのダイナミックな協調を成功させるための知覚情報を明らかにする予定です。この知見は、人間同士のように自然に協調できるAIやロボットの設計に役立つと期待されます。

用語解説

※1　振幅包絡線；歌声における強弱の時間変化を表した波形

謝辞

本研究は、JST 次世代AI 卓越博士人材育成プロジェクト JPMJBS2410の支援を受けたものです。

論文情報

タイトル

"Coordination dynamics in singing with human and artificial partners: the role of visual information"

DOI

10.3389/fcogn.2026.1810330

著者

Rina Nishiyama, Tetsushi Nonaka

掲載誌

Frontiers in Cognition

報道問い合わせ先

神戸大学企画部広報課
E-Mail：ppr-kouhoushitsu[at]office.kobe-u.ac.jp(※ [at] を @ に変更してください)

研究者

野中哲士

教授

人間発達環境学研究科