2019.06.19

NVIDIAがPix2PixHDの実装をBSDライセンスで公開

NVIDIAがPix2PixHDの実装をBSDライセンスでオープンソース化したようですね。BSDライセンスのため検証目的での利用以外に、商用利用なども可能なようです。

Pix2PixHD Is Now Available as Open Source on NGC
https://news.developer.nvidia.com/pix2pixhd-is-now-available-as-open-source-on-ngc/

リポジトリ
https://github.com/NVIDIA/pix2pixHD

公開されたものは実装はPyTorchで行われています。

Pix2PixHDはCVPR 2018で発表された手法ですが、ちょうどCV勉強会で紹介している人がいますね。

2019.06.16

ZEISS Batis 2/40 CFを購入

α7IIIに普段つけっぱなしにしておく標準域につけておくレンズとしてZEISS Batis 2/40 CFを購入しました。

Batis

ZEISS Batis 2/40 CF
https://www.zeiss.co.jp/camera-lenses/photography/products/batis-lenses/batis-240cf.html

55mmでSEL5518Zを持っていて少し狭いなと思いつつ、35mmでは画質より軽量さでSAMYANG AF35mm F2.8 FEなんかを持っていて、35mmで高画質なものはもともと別なカメラでRX1Rあるので避けておこうかなと思っていたのですが、品薄だったZEISS Batis 2/40 CFがだいぶ買えるようになったので購入。

やっぱり、自分的には35mmに近い画角の方が扱いやすく寄れるというのはいいですね。ちょっと長いなとは思いつつも軽量な方なのは良いですね。

向島百花園2019


雑多なものは下記ですが、浅草の写真が今は占めてますね。


Batis 2/40 CF Photos


2019.06.04

ARKit 3はiPhone向けVtuberアプリを進化させる要素が多そう

WWDC 2019でARKit 3が発表されましたが、ドキュメントも公開されています。

https://developer.apple.com/augmented-reality/arkit/

新機能として、以下の6つのトピックがあげられています。ただ、Additional Improvementsは既存機能の改善なので今回置いておきます。

  • People Occlusion
  • Motion Capture
  • Simultaneous Front and Back Camera
  • Multiple Face Tracking
  • Collaborative Sessions
  • Additional Improvements

この中で、Motion Capture、Simultaneous Front and Back Camera、Multiple Face TrackingはiOS向けにVtuberアプリみたいなものを開発には重要な新機能になりそうだと思います。

Motion Captureは、端末のカメラを使ってKinectなどのような人体の骨格検出をやってくれるようですね。これはとりあえず、アバターの動きを特別な装置やセンサの取り付けなしで行けるという感じでお手軽に全身の動き反映させるのによさそうですね。

Motion Captureで取得できるジョイントについては、ドキュメントでは下記でまとまっています。名前付きジョイントが8つあり、これらの位置を利用して、名前なしのジョイントが85個あるようですね。

https://developer.apple.com/documentation/arkit/arskeleton/jointname

Simultaneous Front and Back Cameraは、端末の前面と背面のカメラを同時に使用する機能です。今までのARKitではフロントカメラを使って顔をキャプチャするという使い方をして、背面のカメラは環境を認識して地面(水平面)や壁(垂直面)などを検出して、CGのキャラクターを表示するなどをしてきました。ただ、同時に2つのカメラの処理をやらせることはできませんでした。この新機能では、1つのアプリケーションで2つのカメラを使うことができるようになります。使用シナリオとしては、背面のカメラで環境を認識してCGのキャラクター(アバター)を表示して、前面のカメラで演者の顔を撮影して顔を動かすということができるようになります。配信機能などを組み合わせれば、屋外でiPhoneの顔キャプチャを生かした実況などができるかもしれませんね。

今回、紹介する最後の話Multiple Face Trackingは、前面カメラがTrueDepthカメラの端末(iPhone XやXR、XSなど)で3人まで顔の認識とトラッキングができるというもののようですね。1つのカメラで3人の演者がいれば、3人のキャラクターの顔を動かせる感じですね。

WWDC 2019でMinecraft Earthのデモが発表され、People Occlusion(カメラに映る人物とAR上のCGのオクルージョンの問題を解決する機能)が注目されていますが、上で紹介した3つの機能は日本で人気なVtuber向けのアプリで活躍しそうな予感がします。

秋のiOS 13のリリース以降(…とUnityやUnreal Engineなどゲームエンジンの対応で)新しい表現ができるアプリが増えていきそうですね。

I3D 2019キーノートのUbisoftのスライド

I3D 2019キーノートのUbisoftのFarCryチームの方のスライドが公開になっていますね。

HLSLでVulkanのNVIDIAのレイトレーシング拡張のためのシェーダを書く話

HLSLでVulkanのNVIDIAのレイトレーシング拡張のためのシェーダを書く話が公開されていますね。

Vulkan NV Ray Tracing with HLSL
https://www.wihlidal.com/blog/graphics/2019-05-28-vk-rust-ray-tracing-hlsl/

見た感じ、レイトレーシングでもHLSLからSPIR-Vバイナリ作るのは行けそうですねぇ。Direct3D12とVulkan側でレイトレーシングのシェーダの共通化も行けそうですねぇ。

«Digital Dragon 2019から気になるセッション