> Labo

GHOST PLAY

概要

GHOST PLAY は,2009年度下期IPA未踏事業に採択された「センサーデバイスを活用した弦楽器自律演奏の為の基盤ソフトウェア開発」の開発成果をFD社に技術移転した研究プロジェクトであり,磁気リニアアクチュエーターの極微細な制御によって,人間の演奏表現を音声波形レベルで極めて正確に模倣するデバイスの開発を目指し,オープンソースとして開発を行なっています.

人工物による人間の演奏表現へのアプローチ

本デバイスは,工学的にもっともプリミティブなアプローチ、すなわち全体の動きを微小時間に分割して、微小時間ごとの正確な制御を連続させることで、全体の動きを再現するという方針を取っています.

研究プラットフォームとしての高い精度

本システムは、10ミリ秒単位で演奏の右手系、左手系を制御することができ、それぞれのアクチュエーターは10マイクロメートルオーダーの精度、最大10Gの加速度で、軸間同期を取って動作することができます. 演奏動作時にデバイスの各部に掛かっている力を測定することができ、四弦独立に設けられたピエゾピックアップから、弦の振動を直接計測することが可能です.

試作2号機

未踏事業での開発過程で明らかになった様々な機構的な問題点を解決するため,新たに試作工場の協力を得て,試作2号機を開発しました.1号機と比較し軸数が増え,より高速な制御が可能となりました.開発言語を一部 Max MSP に変更し,より試行錯誤に適した GUI 環境を構築しています

アルゴリズム面でも,音響的な信号処理を強化するだけでなく,遺伝的アルゴリズムによるリニアアクチュエータキャリブレーションなどユニークで新しい取り組みを行っています.

今後は,演奏動作への強化学習の適用など,音響・音楽・機械の界面での所謂人工知能的な処理を中心に開発を進めていきます.

デモンストレーション

2011/10/22 version 0.8 alpha, 試作1号機 説明と試奏
(12:43より開始します)

開発動機

人間の演奏表現は,人間固有のものであり,演奏者自身の人間存在の根幹から表現されるものです.それは当然ながら,工学的手段で代替できるようなものではありません.さらに言えば,ある人の演奏表現は,その人固有のものであって,他の誰かが代替することはできません.それを真似ることができたとしても,取って替わることはできません.これは,本プロジェクトにとっても,一つの本質的な前提です.

私たちが,誰かの演奏を真似ようとした時,基礎的な練習が必要であることは言うまでもありませんが,CDをひたすら聴き込んで,同じフレーズを何百回と弾くといった反復練習を行います.工学的手段で,「真似」ようとした場合,その実現方針として,いくつかの方針が想定されます.本プロジェクトが採用した方針は,もっとも基本的と考えられる方針,演奏動作の連続値を微小時間ごとに量子化し,微小時間ごとの正確な動きを連続させることで,演奏動作を再構成するというものです.この方針を採用した理由は,もっとも基本的であるということに加えて,今後の発展的な考察に必ず必要になる基盤的なアプローチであるためです.

では,果たして,このような量子化アプローチで,演奏をどこまで模倣することができるのでしょうか?ここで,技術的な問題ではない,表現と模倣についての根源的な課題に直面します.それは,音楽を,私たちはどのように感じるのか,という点に関わります.

音楽は,空間に広がり「場」を作ります.それは,物理的な空気の疎密波の場ということではなく,空間に演奏者の存在を薄く拡散させたような場であり,ごく有体に言えば,演奏者の存在と密接に繋がった,その空間の雰囲気を決定づける場とも言えます.たとえば,玄関を開けた時に部屋の中から聞こえるピアノの音,その音に,私たちは,演奏者の存在を間接的に感じます.もし,聴きなれたサウンドと異なるサウンドが聞こえてきた場合,誰かお客さんが演奏しているのかな,などと感じるでしょう.

これは,録音音源であっても,一定,同じ効果を再現することができるはずです.では,工学的な演奏の模倣(本プロジェクトによる量子化アプローチ)の場合はどうでしょうか?いくつかの疑問が段階的に想定されます.物理的に演奏を正確にトレースしたとして,単純な録音と等しい再現が可能であれば,録音音源に接する場合と同様に,私たちはその演奏に,演奏者の存在を仮構することができるでしょうか.それは「録音と再生」という現在のパラダイムと全く同じでしょうか,それとも異なる性質を持つでしょうか.この点は,そもそも演奏表現を量子化することができるのか,という根源的な疑問に関係しています.

付属的な疑問として,再現の正確性を徐々に壊していった時,聴きなれたサウンドは,どの段階で,聴きなれないサウンドへと変化してしまうのでしょうか.その変化は徐々に起こるアナログ的なものでしょうか,それとも,ある段階で突然ドラスティックに変化してしまうデジタル的なものでしょうか.

私たちの感じ方という曖昧なパラメーターを取り扱わなければならない以上,このような疑問を定量的に評価することは難しいと言えます.しかしながら,量子化アプローチによって,この課題に,ボトムアップから取り組むことが可能となります.当然ながら,ごく正確な制御を実現できる精巧なハードウェアと制御プログラムが用意されることは大前提であります.これは本プロジェクトにおいて未熟ながらも達成されたものであり,以降の章でその詳細について説明しています.

ここまでは,音楽の受け手を中心とした考察でした.ここからは,音楽の送り手を中心とした考察を行います.本システムのハードウェアは,擦弦楽器を対象にしているため,その物理的制約として,以下の考察はバイオリンを具体例として行われますが,他の楽器にも敷衍可能な一般概念であると考えています.

さて,本システムでは,10ミリ秒(100分の1秒)ごとに,弓の動きを制御することができます.各アクチュエーター(駆動部分)は,10ミクロン(100分の1ミリメートル)ごとに位置を決定することができます.言い換えると,一回のボーイング動作を,10ミリ秒ごとに分解し,その動きを10ミクロンごとに分解して記述することになります.ここで「動きを記述する」とは,「全体の動きを,微小時間ごとの動きに分解して,各微小時間ごとの動きを全て事前に決定することで,全体の動きを再現する」という方法を意味しています.以下もこの表現を使います.

この「動きの記述」は,DTMにおける「打ち込み」の概念に近い行為です.1秒を100分割して取り扱うことになるので,その打ち込み量はハンパではありませんが,事前に全パラメータを決定(演奏中に変化させることもできるが)するという点では,共通の要素を持ちます.同時に,「動きの記述」は,音づくりの側面も持ちます.音づくりと言っても,シンセサイザーのように,多種多様な音が合成できる訳ではありませんが,弓の動きを細やかに制御することは,すなわち,バイオリンの音を細やかに作り出す行為そのものです.

本システムは,以上のように,おおまかに,「打ち込み」と「音づくり」の2つの要素を同時に持ったシステムであるということになります.本システムを,演奏システムとして捉えると,自由度が高い反面,そのパラメータ量が尋常ではなく多いという実用的欠点を抱えていますが,決定すべきパラメータ量は,技術的補助手段によって,色々なレベルで削減することが可能です.

人間が直接に楽器を演奏する場合,少なくとも表面的には,自らの動きによって楽器を操作しています.人体の構造上の制約を除いて,その動きに制約はなく,自由な表現が可能です.そして,自らのサウンドを聴き,自らの脳で解釈し,よりよいサウンドを希求し続けます.この過程において,通常は,人体の構造上の制約以外の本質的な制約はありません(私のようなごくアマチュアの奏者にとっては,体が思ったように動かないことばかりですが,それは才能と練習が足りないだけです).

ここで,ある曲を演奏するために決定された大量のパラメーター列を想定します.このパラメーター列は,バイオリン演奏に一定の知識と経験のある人間が,自分の耳で確認しながら,注意深く決定したパラメーター列であるとします.

これはつまり,パラメーター列を介して,自分の手足を使う代わりに,機械の手足を使って演奏を行う.しかし,その解釈は,あくまでも人間が行う,そういう仕組みです.人体の物理的制約と同様,機械にも物理的制約,特に,本システムの場合は,量子化アプローチの精度限界(10ミリ秒/10ミクロン)があります.これら本システム特有の制約についての考察は本論に譲るとして,一定の制約条件下で,最適化されたパラメーター列は,その最適化過程の直接演奏行為との構造的な類似性,及び,本システムが未熟ながらも達成している精度の定量的側面から,それを構築した人間の,「間接的演奏表現」と捉えることも可能であると考えています.もちろん,受け手についての考察で述べた,量子化アプローチの根源的問題は,依然重要な論点として残っています.この論点を留保したとしても,量子化アプローチそのものを,制約条件のひとつとして包含することで,少なくとも,制約条件下での間接的演奏表現と捉えられるのではないか,という限定的な表明が成り立ちます.

誤解を恐れずに一歩踏み込めば,アコースティック楽器にコンピューター制御による演奏系を組み合わせたもの,これを,楽器/機械の組み合わせとしてではなく,一連一体のまとまりをもつ一つの楽器として,パラメーター列のチューニングを通して間接的に演奏する楽器である,として捉え直すということです.もちろん,パラメーターチューニングが実用的でなければ,技術的補助手段によって,全く異なるインターフェースに代替させることも可能であり,演奏における操作系は,多様なパターンを創作することが可能です.極端な例を挙げれば,バイオリンそのものを入力のインターフェースとさせることも可能です.これは,昨今の,電子楽器における,ユーザーインターフェースの多様化を鑑みるに,いろいろな未知の可能性を含有しているように感じます.

ここまで,送り手を中心とした観点から,人機一体,もしくは,人機楽一体となった演奏のための基盤システムとしての本システムの在り方について考察しました.本システムは,未だ発展途上であり,今後も継続的に研究,開発,そして応用の三面を同時に推し進めて行かなければなりません.道のりはまだ遠く,私たちは,その第一歩を踏み出したに過ぎないと言えます.最後に,送り手・受け手双方の観点から,本システムの指向する未来について,ごく簡単に.

間接的演奏表現としてのパラメーター列,このパラメーター列には,作成者の好みや癖が不可避的に反映されることになります.そして,このパラメーター列が,さまざまな曲に対して,大量に揃った場合,それらパターンや傾向を学習したコンピューターは,未知の曲を,どのように演奏するのでしょうか.それは,単に無感動な音の羅列でしょうか.

――あるいは,その演奏に,パラメーター列を作成した人間の「存在」を,感じることができるでしょうか.

ここまで,価値判断を留保しています.本論でも価値判断については踏み込んでいません.私がチューニングしたパラメーター列によるボーイングは,すでに私の全身全霊のボーイングより美しく響きます.その価値をどのように考えればよいか,私にはまだわかりません.このプロジェクトの未来に,いつか,わかる日がくればいいなと,そう,夢見ています.