« I3D 2019キーノートのUbisoftのスライド | トップページ | ZEISS Batis 2/40 CFを購入 »

2019.06.04

ARKit 3はiPhone向けVtuberアプリを進化させる要素が多そう

WWDC 2019でARKit 3が発表されましたが、ドキュメントも公開されています。

https://developer.apple.com/augmented-reality/arkit/

新機能として、以下の6つのトピックがあげられています。ただ、Additional Improvementsは既存機能の改善なので今回置いておきます。

  • People Occlusion
  • Motion Capture
  • Simultaneous Front and Back Camera
  • Multiple Face Tracking
  • Collaborative Sessions
  • Additional Improvements

この中で、Motion Capture、Simultaneous Front and Back Camera、Multiple Face TrackingはiOS向けにVtuberアプリみたいなものを開発には重要な新機能になりそうだと思います。

Motion Captureは、端末のカメラを使ってKinectなどのような人体の骨格検出をやってくれるようですね。これはとりあえず、アバターの動きを特別な装置やセンサの取り付けなしで行けるという感じでお手軽に全身の動き反映させるのによさそうですね。

Motion Captureで取得できるジョイントについては、ドキュメントでは下記でまとまっています。名前付きジョイントが8つあり、これらの位置を利用して、名前なしのジョイントが85個あるようですね。

https://developer.apple.com/documentation/arkit/arskeleton/jointname

Simultaneous Front and Back Cameraは、端末の前面と背面のカメラを同時に使用する機能です。今までのARKitではフロントカメラを使って顔をキャプチャするという使い方をして、背面のカメラは環境を認識して地面(水平面)や壁(垂直面)などを検出して、CGのキャラクターを表示するなどをしてきました。ただ、同時に2つのカメラの処理をやらせることはできませんでした。この新機能では、1つのアプリケーションで2つのカメラを使うことができるようになります。使用シナリオとしては、背面のカメラで環境を認識してCGのキャラクター(アバター)を表示して、前面のカメラで演者の顔を撮影して顔を動かすということができるようになります。配信機能などを組み合わせれば、屋外でiPhoneの顔キャプチャを生かした実況などができるかもしれませんね。

今回、紹介する最後の話Multiple Face Trackingは、前面カメラがTrueDepthカメラの端末(iPhone XやXR、XSなど)で3人まで顔の認識とトラッキングができるというもののようですね。1つのカメラで3人の演者がいれば、3人のキャラクターの顔を動かせる感じですね。

WWDC 2019でMinecraft Earthのデモが発表され、People Occlusion(カメラに映る人物とAR上のCGのオクルージョンの問題を解決する機能)が注目されていますが、上で紹介した3つの機能は日本で人気なVtuber向けのアプリで活躍しそうな予感がします。

秋のiOS 13のリリース以降(…とUnityやUnreal Engineなどゲームエンジンの対応で)新しい表現ができるアプリが増えていきそうですね。

« I3D 2019キーノートのUbisoftのスライド | トップページ | ZEISS Batis 2/40 CFを購入 »

Programming」カテゴリの記事

スマートフォン・デジタルガジェット」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« I3D 2019キーノートのUbisoftのスライド | トップページ | ZEISS Batis 2/40 CFを購入 »