クリエイターのプロフィール: 高橋啓治郎
Depthkit＋Unity VFX Graphが話題となっている。
April 17, 2019
クリエイティブコーダーのパイオニアで、オープンソースの先駆者である高橋啓治郎氏は、Depthkit＋Unity VFX Graphによって、ボリュメトリック映像の世界に新たな領域を生んだ。
Read the English language version here.
Depthkit + Unity VFX Graph 実験, 高橋啓治郎氏とGENDAIの協力による。
我々は高橋氏の刺激的なワーク、そして、コミュニティとシェアするというその精神が大好きで、おそらくこれを読んでいる皆さんも同じだろう。彼がDepthkitとUnityの新しいVisual Effects Graphを試していると知ったとき、我々は期待に胸を踊らせ、そのプロセスをもっとよく知りたいと思った。彼はどのようにそれらのツールを組み合わせたのか？ それは彼のクリエイティビティにどのような可能性を広げたのか？ 彼はなぜボリュメトリックフッテージを使用し、操作したいと考えたのか？
Unity VFX Graphは革新的なツールだ。3Dで捉えたフッテージをより美しくする強力な方法として、我々のボリュメトリック映像コミュニティに有効なツールだと確信している。我々のクリエイティブツールに幅広い層のスキルセットとプロがアクセスできるようにしたいというのが、我々の強い願いだ。フォトリアルキャプチャーからとても素晴らしいエフェクトに、シームレスに、そしてダイナミックに変化させ、皆さんが考え出すあらゆる世界を作り、住むことができるようにしたい。
そのため、高橋氏が彼の試みをツイッターにドロップしたとき、ぜひ話を聞きたいと思った。高橋氏は常にVFXとリアルタイムグラフィックスを開拓し、次のレベルに押し上げている。新しいDepthkitのユーザーとして、彼の試みは3Dキャプチャーの可能性に新鮮でダイナミックな見方をもたらした。
もちろん、高橋氏はクリエイティブコーダーとしての第一人者だ。彼のワークは簡単に作れるように見える。彼は、文字どおりにも比喩的にも、波を立てる。もちろん、高橋氏はクリエイティブコーダーとしての第一人者だ。彼のワークは簡単に作れるように見える。彼は、文字どおりにも比喩的にも、波を立てる。
高橋氏のようなコードウィザードでなければ、あのようなルックスは作れないとお思いなら、もう一度考えてほしい。高橋氏は彼のオープンソースをGithubで公開していて、ScatterはVisual Effects Graphを活用し、次世代のUnity SDKを作っている。高橋氏のようなエフェクトを、コードなしで達成できるように！
コーダー、フィルムメーカー、アーティスト、あるいはVFXのプロなどなど、先進的な業界リーダーたちは高橋氏のワークに注視しているだろう。彼は我々を刺激し、我々は彼がボリュメトリック、特にDepthkit＋Unity VFX Graphを手がけるきっかけが何だったのかを、ワクワクしながら尋ねた。
インタビュー
インタビューは日本語で行われ、マシュー・ファーゴ氏が英訳した。ファーゴ氏はアーティストであり、クリエイティブコーダーでもある。
Read the English language version here.
さて、幅広く活躍されている高橋さんですが、ひとまず自己紹介をしていただけますか？どういう経歴を経て現在のような多才なクリエーターになられましたか？
Keijiro Takahashi: 名前は高橋啓治郎です。小学生の頃に 8-bit パソコンでプログラミングを覚えてから、ずっとプログラムを書き続けています。大学を卒業したあと、１０年間ゲーム会社で技術者として働いていました。僕の中にある創作の技術や経験は、ゲーム会社に入るまでの独学で得たものと、ゲーム会社の中で働いて得たものと、主にはその２つによって成り立っていると思います。
ゲーム会社を辞めてフリーランスになってからは、せっかくだからゲーム会社の中では出来なかったことをやろうと思い、映像作品や音楽家とのコラボレーションなど、ゲームではない分野にゲームの技術を活用するという活動をしています。 Unity 社に入ってからもその活動は続いています
高橋啓治郎氏とGENDAIの協力による。
その映像や音楽のご活動ですが、FFMPEG録画のプラグインから、NDIやHAPの対応まで、実に多用多彩な内容になりますが、手がけるプロジェクトをどんな風に決めていますか。
KT: 基本的には自分が必要とするものを作るという方向性で決めています。NDI や HAP のプラグインも、僕が過去のプロジェクトの中で必要性を感じて開発したものです。Unity の本来の用途はゲームであるため、映像の用途には足りない機能がどうしても存在しています。それを補うことで、僕が助かるというだけでなく、Unity を映像用途に使っている他の人たちも助けることができるかもしれないと思い、成果を共有するようにしています。
新しいツールが作品を産むというより、逆に作品が新しいツールを産んだパターンですね。「BRDG/VRDG」として作られたこの作品（https://twitter.com/tokyomax/status/1105026205705596928）も同じような設定ですか。この作品の由来、制作過程について教えてください。
KT: この作品の少し前に、西川貴教さんの UNBROKEN という楽曲のミュージックビデオにボリューメトリックビデオ撮影で参加したことがきっかけになります。このときはまだ Depthkit の存在を知らなくて、自分たちで独自のワークフローを構築していくことになりました。これはこれで無事に完成したのですが、以降も同じ手法を使うなら、もう少し工程を洗練しておきたいと考えるようになりました。
その後 Depthkit の存在を知り、これと Unity の新機能である Visual Effect Graph を組み合わせれば面白いことができるに違いないと考え、実験的に制作してみたのがこの作品になります。
ボリュメトリックビデオには、モーションキャプチャーと比べて、いくつかの利点がある。第一に抜群の使いやすさ、そして表現の幅が広いことだ。
前の作品には、一般的なモーションキャプチャーによる作品もありますが（たとえばこちらです→https://vimeo.com/193876024）、今回のプロジェクトでKinectやDepth Kitのような3D技術に切り替えたきっかけは何だったんでしょうか。
KT: モーションキャプチャーと比較してボリューメトリックビデオの優れている点は、手軽に使えることと、表現力の高さにあります。
モーションキャプチャーは過去の作品で何度も使用していますが、とにかく手間がかかるという印象が強いです。必要な機材や人員、スタジオの確保、それらにかかる費用などを考えると気が遠くなります。それが KINECT, Depthkit などを使ったボリューメトリックビデオであれば、最低限の場所と機材の確保だけで実施できます。今回の実験的な作品も、撮影から完成まで数日で済んでいます。思いついたことをすぐに実現できるというフットワークの軽さは、創作活動において非常に重要なことだと思います。
表現力の高さもアーティストとのコラボレーションにおいては重要な要素です。例えばこの実験作 https://twitter.com/_kzr/status/1105456612162994177 では、ダンサーの服の動きも重要な表現のひとつとなっていますが、このような人体以外の付属物の動きをモーションキャプチャーで取り込むにはかなりの工夫が必要とされます。ダンサーやミュージシャンは髪型や服・アクセサリーなども表現の一部として使いますから、それらもそのまま 3D データとして取り込むことができるというのは大きな利点になりえます。
確かにダンサーさんのジャケットがほぼ主役ですね。動画の題名に「VFX Graph」とありますが、シェーダーをバリバリ書けそうな高橋さんがあえてノード系のビジュアルプログラミングを駆使しているのは、何か特別な理由はありますか。
KT: 理由の一つとして、 VFX Graph の勉強をしたかったというのがあります。私の本職は Unity のエバンジェリストですので、Unity の新しい機能について詳しくなっておく必要があります。ボリューメトリックビデオとの組み合わせは、VFX Graph を勉強するのに最適な題材だと思い、色々な使い方をその中で試していきました。
もう一つの理由として、VFX Graph のフレームワークとしての出来の良さがあります。これは勉強するうちに分かってきたことなのですが、VFX Graph は単に視覚的に分かりやすいという以上に、VFX のフレームワークとして非常によく出来ています。この上に自分のアイデアを当てはめていくことによって、頭の中にあった漠然としたイメージが具体的なものに変化していくという効果を持っています。プログラミングができる人でもこれを敢えて使うメリットはありますし、むしろプログラミングの知識がこの中で活かせるというのもあります。私も今後 VFX Graph は積極的に作品の中で使っていくことになると思います。
未知のツールを二つ同時に勉強して、連携させて、おまけにその組み合わせで作品を作っているわけですね。あえて不慣れなツールを使った方が発想や発見に繋がったりしますか。
KT: 不慣れなツールを使うことはむしろ新しい発想を得られるチャンスになりますし、新しいツールを学習し使いこなしているという高揚感が創作の刺激になることもあります。仕事でもサイドプロジェクトでも、時間が許す限りは、常に何かしら新しい技術や道具を取り入れてみるようにしています。
Depthkitはとてもクリーンで直感的。カメラの使い方がわかれば、多分Depthkitの使い方もわかるだろう。
最初はさらにこのRealsense SDK（https://github.com/keijiro/Rsvfx）というものも使っていたようですが、Depthkitに切り替えた理由を教えてください。
KT: RealSense は今もプロトタイピングに使っています。 Kinect と Depthkit の組み合わせは高品質な作品を手掛けるには欠かせないものですが、大きくて重い Kinect を常に自分の机の上に置いておきたいとは思いません。小さく軽くて USB ケーブルを繋ぐだけで使える RealSense は、簡単な実験を行うのに最適な機器だと思います。また、プロトタイピングの段階では、録画したデータではなくリアルタイムに入力を行いたいことが多くあるため、RealSense SDK を直接使うようにしています。
今はそのような理由で複数の機器・方法を使い分けていますが、機器の問題は Azure Kinect で解決されそうですし、Depthkit もリアルタイムストリーミングの機能を試していると聞いていますので、将来的には Azure Kinect と Depthkit の組み合わせで一本化できることを期待しています。
Azure Kinectは僕も楽しみです。いろんなハードやライブラリーを幅広く使いこなしている高橋さんですが、Depthkitのご感想を聞かせてください。
KT: まず最初に Depthkit を触って驚いたのは、ツールとしてとても洗練されているということでした。この手の特殊な技術を扱うツールはどうしても複雑で難解なものになりがちですが、 Depthkit の操作は簡潔かつ直感的で、普通のカメラのように誰でもすぐに使いこなすことができます。これは作業の分担を行ううえで重要なことで、今までは撮影を行う際に、ツールを操作する専門のオペレーターを現場に張り付かせておく必要がありましたが、Depthkit ならそれが不要になります。撮影と編集までは撮影クルーの方で行い、出力されたデータを VFX アーティストに渡す、というシンプルなワークフローが構築できるようになりました。
もう一点、とても有り難いと感じたのは、 Kinect の導入手順を Depthkit が分かりやすく示してくれているという点です。Kinect は既に生産が停止されていて、SDK やドキュメントも更新されなくなっており、何をどう入手してどうセットアップすればいいのか、正しい情報が得られにくい状態になっています。Depthkit のドキュメントにはこれらの情報が分かりやすくまとめられていますし、インストールの手順も簡単でつまづくことがありません。Kinect という機器の特殊な分かりにくさを、Depthkit はうまく吸収してくれていると感じました。
環境のみならず、もっとひろい意味でDepthkitで挑戦したいこと・実験的に作りたいものはありますか。
KT: 当面の間は、人体の動きをテーマとして色々な表現を模索してみたいと考えています。私は、人間の筋肉が作り出す動きほど複雑で表現力豊かなものは存在しないと思っていますし、また、人間の視覚系は人体や顔の動きに対して特別に高い感受性を持つよう作られていると理解しています。ですから、人体の動きを取り込む技術というのは、高い表現力を得るとともに、人の心を動かすための手段としても重要です。そのような文脈において、ボリューメトリックビデオは新しい可能性であると感じましたし、模索する余地も多く残されていると考えています。
Depthkitチームに、もっと開発してほしい部分、追加してほしい機能、こうしたらワークフローが便利になるんじゃないかみたいなところはありますか。
なんと言っても、リアルタイム用途に向けたライブストリーミングの機能を備えることが最重要だと思います。ボリューメトリックビデオを使った VFX は、映像作品だけでなくライブパフォーマンスの演出としても利用価値があります。また、ライブイベントにおいてはステージとオペレーション卓が遠く離れている場合が多くありますので、SDI や video over IP など中距離の伝送に適した映像フォーマットに対応することも求められると思います。
ライブの作品もぜひ見たいです！
作品はもちろんのこと、githubなどを介してコミュニティに共有しているコードもだいぶ評判です。エバンジェリストとして当たり前のことかもしれませんが、個人的にもオープンソースに特別な思いはありますか。
KT: ソースコードは公開することが当たり前、という感覚で昔から活動していたため、特に深い考えはなく、公開できるものは全て公開するようにしています。私の場合、ただ単にソースコードを公開しているだけで、オープンソース開発の思想を真面目に実践しているわけではないので、あまり偉そうなことは言わないように気をつけています。
オープンソースと少し関係のあることですが、音楽家として活動していた頃に、音楽にある「リミックス」の概念がとても面白いと感じていました。既に存在する素材を他人が再解釈することによって新しい作品が生まれる、という現象です。私がソースコードを公開しているのは、そういう「リミックス」的な現象が発生することを期待しているという側面もあります。自分の作品が他人の作品へと溶け込んでいく様や、拡張されていく様を見ることが楽しいと感じています。
より良いテクノロジーは人間のモーションをキャプチャーでき、より優れた表現力を生み、より大きな感動を誘発することができる。
最後に、これからボリューメトリックビデオに挑戦してみたい初心者に、一言アドバイスください。
KT: Kinect, RealSense, Depthkit や VFX Graph などの道具が揃ったことによって、ボリューメトリックビデオは格段に使いやすいものになりました。手間が減ったことによって、これを利用できる場面も格段に増えたと思います。ボリューメトリックビデオを使いたいと感じた場面で躊躇なく使ってみることをお勧めします。本音を言ってしまうと、Azure Kinect が出た後で挑戦するのが最適なタイミングだと思いますけどね。
高橋氏、ファーゴ氏、興味深い話をありがとう。
ScatterではDepthkitが皆さんがお気に入りの最新のツールとタンデムで確実にいつでも使えるよう専念している。そして、Unityが重要なものの一つだと理解している。皆さんが最高のツールを組み合わせて完全な美的スペクトラムをキャプチャーし、クリエイトするのを可能にするために、我々は役立ちたいと考えている。
次回のクリエイタープロフィールとニュースをお楽しみに！
