« 2019年4月 | トップページ | 2019年6月 »

2019.05.28

SIGGRAPH 2019 Emerging Technologies Preview動画

Emerging Technologies Preview: SIGGRAPH 2019が来ています。

2019.05.25

Basis Universalというテクスチャ形式の話

GoogleがBasis Universalというオープンソースのテクスチャフォーマットの開発を支援するということで、Shader.jpに書いておきました。

2019.05.21

GDC 2019のVariable Rate Shadingのセッション動画

GDC 2019のBoost rendering performance with Variable Rate Shadingのセッションの動画が公開されています。

2019.05.19

DirectMLの重みの作成について

DirectMLのサンプルなどで使われてる「重み」ってどうやって準備してるのかというのは気になってたんですが、Issueで書いてる人がいてやり取り見てるとONNXから持ってくやり方がよさそうなのか。

https://github.com/microsoft/DirectML-Samples/issues/3

2019.05.12

Shader.jpの更新

Shader.jpの方でサーバのPHPやDBのバージョンがかなり古い状態であったので、更新をかけたのですがPHPはよかったのですがDBの方が最新のWordpressがサポートを切っていたバージョンで動かなくなって焦りました。

なんとか、現在の設定エクスポートして新しいデータベースの方へ移行して復旧できたが、もうちょっと事前に準備しておかないといけなかったですね。

Tensorflow Graphicsが出た

Tensorflow Graphicsが出た、ということでShader.jpに書いておきました。

2019.05.09

Google I/O 2019 Stadia のストリーミング技術に関するセッション

Google I/O 2019ではStadia Streaming Tech: A Deep DiveというセッションでStadiaのストリーミング技術や遅延に対する対策などの技術を紹介しています。

このセッションも動画が公開されています。

ゲームをGPU搭載したサーバで実行してクラウド上で実行してストリーミングするサービスはこれまでいくつもありましたが、Stadiaならではの部分などを判断するのによさそうですね。

Google I/O 2019 ARCoreの機械学習での照明推定やライティングのセッション動画

Google I/O 2019でARCoreのアップデートが様々公開になりました。

Updates to ARCore Help You Build More Interactive & Realistic AR Experiences
https://developers.googleblog.com/2019/05/ARCore-IO19.html

この中で、カメラからの照明推定(Light Estimation)の部分は大きなアップデートだと思います。AppleのARKitでも照明推定があり、Light Probeの構築などはやってくれてますが、ARCoreではHDR Cube mapの生成も対応したようです。

ちょうどGoogle I/O 2019ではそのことに関するIncreasing AR Realism with Lighting (Google I/O'19)というセッションがあり、動画が公開されています。

ARで環境の情報を取得するカメラは、LDRの入力ですが、ここからHDR Light Probeの構築しています。セッション見ているとこれは、TensorFlow Lightを使ってニューラルネットワークで処理しているようですね。

Lightprobe

この実装はCVPR 2019で発表される"DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality"として発表されるようです。研究メンバーにはPaul Debevecがいるので納得感高いですね。

DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality
https://arxiv.org/abs/1904.01175

リアルタイム性の高いアプリケーションで機械学習をインタラクティブなレベルの処理時間で実装できてるというのが、やはりGoogle強いですね。

あと、地味にディレクショナルライトの算出も新機能ですが、これはカメラから見てかShadowを落とす際に便利ですね。

※動画は字幕表示ができるのでリスニング苦手な方でも情報を拾いやすく、翻訳にも対応しています(ただし、機械翻訳の怪しさがあります)。

2019.05.08

DirectMLの超解像(Super Resolution)サンプルを動かした

ノートPCで超解像のサンプルを動かしてみました。GPUは、GeForce GTX 1070(MAX-Q)です。

https://github.com/microsoft/DirectML-Samples

DebugビルドだとPixのランタイムDLLが生成されなくてエラーでしたが、Releaseビルドが動いたのでスクショを撮ってみました。

このサンプルでは、960x540の60 fps動画をBilinear FilterとSuper resolution Neural Networkの2つの手法が切り替えでアップスケールします。比較用に、両方の画像を交互に載せていきます。

Directmlsuperresolution-2019_05_08-1_40_ 

Directmlsuperresolution-2019_05_08-1_40__1 

上:Bilinear Filter 下:Super resolution Neural Network

Directmlsuperresolution-2019_05_08-1_41_

Directmlsuperresolution-2019_05_08-1_41__1

上:Bilinear Filter 下:Super resolution Neural Network

Directmlsuperresolution-2019_05_08-1_42_

Directmlsuperresolution-2019_05_08-1_42__1

上:Bilinear Filter 下:Super resolution Neural Network

Directmlsuperresolution-2019_05_08-1_42__2

Directmlsuperresolution-2019_05_08-1_43_

上:Bilinear Filter 下:Super resolution Neural Network

一応、動画も撮ってみましたが、Bilinear Filterと比べてSuper resolution Neural Networkは10 fpsぐらいまで落ちましてあまり参考にならなさそうですね。

とりあえず、Pascal世代のノートPCの1070だとちょっと実用が厳しいなという感じですね。RTXでどうなのか気になるので、別途試してみたいですね。

2019.05.07

DirectMLのサンプルに超解像追加

DirectMLでレンダリングと組み合わせたら面白そうなサンプルが来たようですね。サンプルでは動画ですが、ゲーム映像、つまりレンダリングした結果に対してかけているのでサンプルを参考にレンダリングに対して超解像をかけるという展開はアリでしょうね。

Google I/O 2019に備える

日付が変わって少ししたらGoogle I/O 2019のキーノートですが、すでにYoutubeにはセッションなどが公開されると思われるチャンネルができていますね。

https://www.youtube.com/playlist?list=PLOU2XLYxmsILVTiOlMJdo7RQS55jYhsMi&fbclid=IwAR1XqPrJkwheNqVMfh8kXKBEfGYcVS9fJQGYOtcQzwBV0v4fgjg9Vh4HKjU

機械学習関連セッションをまとめている人もいますが、下記の中にはゲーム開発に関係するものもあるのでチェックですね。

http://blog.adamrocker.com/2019/05/google-io-2019-ml-sessions.html

2019.05.06

10連休終了

今年は、GWに出社する状況とかではなかったおかげで10連休でしたが、終わってしまいました。

GW明けの海外イベントはGoogle I/O 2019ですが、今年はいかないので、気になるセッションをあとで動画で見る形で考えています。

下記のような話題はちょっと楽しみですね。

 

 

« 2019年4月 | トップページ | 2019年6月 »