現実空間がメディアに変わる新たな市場を切り開くARクラウド技術（New York City Media Lab Executive Director ジャスティン・ヘンドリックス氏 × 研究開発局長 青木雅人）

※当記事は、日経ビジネスオンラインに掲載されたインタビューシリーズ『生活者インターフェース市場の出現と可能性』の記事です。

博報堂が参画するNew York City Media Labとは

青木　イノベーションの創出に当たり、次世代インターフェース技術の開発は不可欠です。そのためには、自社での技術開発に留まらず、様々なテクノロジーホルダーとの連携を含め、産学官連携によるエコシステムを構築することが必要だと考え、博報堂では2019年の初めからNYCMLに参画し、ARクラウド技術に関する研究を共同で進めています。ヘンドリックスさん、まずNYCML設立の狙いや取り組みについてご紹介いただけますか。

ヘンドリックス　NYCMLは、VR/ARを含む最先端技術の集積都市としての街づくりを進めているニューヨーク市が、2010年に立ち上げたNPO団体です。これからのメディアを形作る先端技術の領域において、エンジニアリングやコンピュータサイエンス、デザインなどさまざまな分野での産学官連携を実現するハブとなっています。提携大学はコロンビア大学、ニューヨーク大学、ニュースクール、プラットインスティテュート、スクール・オブ・ビジュアルアーツ、ニューヨーク市立大学などです。そこに、博報堂をはじめとした広告会社、メディア系企業、出版社、通信会社、テクノロジー企業が参画しています。企業のイノベーションを後押しするプロトタイピングやR&Dプロジェクトの推進、大学発のスタートアップ支援や、経営者教育やコミュニティを形成するイベントの実施などを通じて、先端メディア技術の未来について市を挙げて探求を進めています。

また、NYCMLから派生して、AR/VRやスペシャルコンピューティング（空間コンピューティング）領域に特化した「RLab」をブルックリンのネイビーヤードに新たに設立しました。ここではAR/VR領域のスタートアップ企業が集い、新しいインターフェースの研究やアプリケーションの開発を行うなど、ニューヨークの先端技術産業の拠点となっています。協力企業のエグゼクティブの皆さんにも来訪してもらい、新たなテクノロジーを使って新たな産業をつくりあげるには何をするべきかという話し合いをしています。博報堂の方々にもおいでいただきました。大学やスタートアップなどニューヨーク市のコミュニティとも知識を共有しながら研究開発を進めています。

VR/ARの進化でメディア自体が環境の一部になる

青木　博報堂では今後、生活者インターフェース市場が到来すると考えています。NYCMLの2030年予測においても、それに近いコンセプトが提示されていますが、ヘンドリックスさんはメディアの変化をどのように捉えていらっしゃるでしょうか。

ヘンドリックス　2030年に向けて様々なイノベーションが実現するでしょう。まず、メディアが発信していたものの意味が大きく変わってきます。これまでメディアは実際の現実に存在しているものを写す鏡のようなものでしたが、今後メディアは、現実には存在しないものをコンピュータによって生成して写していくことにもなるでしょう。

インターフェースの革新も起きます。過去20年、イノベーションの場の大半は２次元のスクリーン上でした。しかし、今後は音声やVR/ARのデバイスが登場し、メディア自体が私達を取り巻く環境の一部になってきます。自然言語解析やコンピュータビジョン、機械学習などのAI技術の進展によって、私達のメディアとの情報のやり取りは今までとは違ったものになります。コンピュータが生成するメディアが生まれると、文字、音声、動画などのコンテンツも自動で作られるようになり、人間のクリエイティビティがそれらを高度化する役割を果たすことになります。また、コンピュータで生成されたメディアが個人データとつながり、新たな利便性を生み出します。

現在、博報堂チームとNYCMLとコロンビア大学のスティーブン・ファイナー教授で、「現実空間を考慮したARインタラクション」をテーマに、変化する現実空間と仮想情報を同期させるにはどうするべきかの共同研究を続けています。こうした新しいキャプチャー技術も、今までにないメディア体験を生み出すでしょう。AIがコンテンツやキャラクター、アバターなどを自動生成するようになり、マーケティングの世界でも利用されるようになるはずです。

こうした時代を迎える上で、私たちは個人データの共有や保護、生活者へのコンテンツの提供方法、技術をどういった基準にもとづいて使っていくか等コミュニケーションのあり方をどう設計するかが問われています。

産学官連携で技術と技術をつなぐエコシステムを構築する

青木　ヘンドリックスさんが指摘されたようにメディアが環境になると、サイバー空間とフィジカル空間が統合されたサイバーフィジカル空間における新しいインターフェースや、コミュニケーション方法を設計していくことが必要になります。その１つの方向性として、博報堂ではARクラウドに関する研究をNYCMLと協業で進めているわけです。

ARクラウドとは、拡張現実と訳されている現在のARを進化させて、「体験のリアルタイム共有」と「現実空間の高度な認識」を実現する技術です。前者は、複数のユーザーがお互いにコミュニケーションを取りながら共同作業ができる技術。後者は複雑な現実空間を高い精度で認識する技術です。

これらが実現すると、現実世界をデジタルコピーして、そこに紐づくデータをクラウド上に保持し、複数のユーザーが同時に体験することができます。例えば、スマートグラスをかけて街中を歩いていると、レストランの情報やマンションの空き室情報などが表示されるなど、現実空間がすべてメディアに変わるのです。

先ほどヘンドリックスさんからお話があった共同研究が実現すれば、３次元で身体感覚を伴った体験が表現でき、テレビからボールが飛び出してきて蹴ったり投げたりするようなCMも可能になります。

ヘンドリックス　仮想空間にしか存在しない情報とどのようにインタラクションをすべきか、そういった情報を操作するときにどのようにジェスチャーを使うのが最も良いのか、ユーザーエクスペリエンスやプロダクトデザインの観点でも考えていくべき領域はたくさんありますが、そんなに遠い未来の話でもないと思います。

青木　NYCMLにおける産学官連携の研究方法は博報堂にとっても大きな学びです。生活者インターフェース市場が到来する中で、１つの企業、１つの技術だけでは、生活者にとっての価値を創り出すことは難しい。大学との連携の中で、技術の質を高め、行政と共に技術の実装の場を創っていき、技術と技術をつなぐエコシステムを構築することが必要な時代になっています。NYCMLでの学びを日本でも実現していきたいので、ヘンドリックスさんとNYCMLに協力していただき、「TCML（Tokyo City Media Lab）」を将来、立ち上げたいと考えています。

ヘンドリックス　すばらしいアイデアですね。NYCMLとTCMLがテクノロジーを社会や生活者にとって価値あるものにしていくハブになっていきたいと思います。一緒に取り組みを実現していきましょう。