« DirectMLの超解像(Super Resolution)サンプルを動かした | トップページ | Google I/O 2019 Stadia のストリーミング技術に関するセッション »

2019.05.09

Google I/O 2019 ARCoreの機械学習での照明推定やライティングのセッション動画

Google I/O 2019でARCoreのアップデートが様々公開になりました。

Updates to ARCore Help You Build More Interactive & Realistic AR Experiences
https://developers.googleblog.com/2019/05/ARCore-IO19.html

この中で、カメラからの照明推定(Light Estimation)の部分は大きなアップデートだと思います。AppleのARKitでも照明推定があり、Light Probeの構築などはやってくれてますが、ARCoreではHDR Cube mapの生成も対応したようです。

ちょうどGoogle I/O 2019ではそのことに関するIncreasing AR Realism with Lighting (Google I/O'19)というセッションがあり、動画が公開されています。

ARで環境の情報を取得するカメラは、LDRの入力ですが、ここからHDR Light Probeの構築しています。セッション見ているとこれは、TensorFlow Lightを使ってニューラルネットワークで処理しているようですね。

Lightprobe

この実装はCVPR 2019で発表される"DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality"として発表されるようです。研究メンバーにはPaul Debevecがいるので納得感高いですね。

DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality
https://arxiv.org/abs/1904.01175

リアルタイム性の高いアプリケーションで機械学習をインタラクティブなレベルの処理時間で実装できてるというのが、やはりGoogle強いですね。

あと、地味にディレクショナルライトの算出も新機能ですが、これはカメラから見てかShadowを落とす際に便利ですね。

※動画は字幕表示ができるのでリスニング苦手な方でも情報を拾いやすく、翻訳にも対応しています(ただし、機械翻訳の怪しさがあります)。

« DirectMLの超解像(Super Resolution)サンプルを動かした | トップページ | Google I/O 2019 Stadia のストリーミング技術に関するセッション »

Programming」カテゴリの記事

画像付き」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« DirectMLの超解像(Super Resolution)サンプルを動かした | トップページ | Google I/O 2019 Stadia のストリーミング技術に関するセッション »