動画の知覚的可聴化

可聴化とは

可聴化とはそもそも聞こえない現象を聞こえる様にすることです。例えば、金属探知器が磁場を音で表しているのは一種の可聴化です。

なぜ可聴化？

音で情報を表すメリットが様々あります。目よりも耳に分かりやすいパターンがありますし、聴覚的データ表示は視野に邪魔しません。しかし、創造的な可能性も魅力的です。アートは新しい形を求める事でもあって、ある次元から別の次元に物を変換させる事は一つの重要な表現手法です。
画像に注目した理由は画像が大変多様で豊富な情報を提供出来る事がその一つです。自然など外界のあらゆる現象に影響を受けて絵や写真にその美を納める事が一般的ですが、目ではなく耳にその形を伝える事によって新たな美が生まれるのではないかがこの研究の出発点です。そして、音は時間上の形ですので、動画の動きにまず注目しました。

知覚的可聴化

画像の可聴化の試みは既に幾つかの例があります。視覚障害者の為のツールもあれば、本研究と同様、音楽制作の為の道具もあります。しかし、殆どの場合、出力される音と元の画像の類似性が低いと言えます。可聴化される画像と生成される音になんらかの知覚的なつながりを持たせる事がこの研究の大きな目標です。

可聴化の方法

複雑な画像から特徴点を抽出する事が出来ます。真っ白な壁は目が留まる様な特徴がありませんが、それに対して窓やドアの角などは特徴点として考える事が出来ます。その様な特徴点は人間の知覚にもコンピュータによる画像解析にも非常に重要です。なぜなら、その特徴点が画像の構造を少ないデータで表しているからです。特徴点を抽出すれば、その点の位置を追跡し、画面に映っている物がどう言う風に動いて、変化しているかが分かります。

複雑な動画を複数の特徴点の変化として表せると同様に、複雑な音を複数の単純な成分の合計から合成する事も出来ます。画像の特徴点一つに単純な音響成分を割り当てれば画像の構造と動きを音の変化に変換する事が出来ます。それが「モーション・フロー・フィールドの可聴化」です。

特徴点だけが描かれた絵を見てもそこに線や円などがはっきりと見えます。実際に画像に点しか描かれていないので、そう言った形は脳の解釈による物です。単純な要素が知覚においてどう言う風な集合を形成するかがゲシュタルト心理学の理論で説明されます。ゲシュタルト心理学が提案する概念は音の知覚にも応用できますので、ゲシュタルト法を参考に音響成分が特徴点と同様な知覚的関係を持つ様に割り当てを行えば、「動画の知覚的可聴化」が可能になります。

実際使われる「単純な音響成分」とは様々な種類があります。その選択は作家の自由で、画像の可聴化には一つの正解となるものがありません。ここで説明した方法に基づいて一つの動画から色々な音を生み出す事が出来ます。