ラベル Unity-雑記 の投稿を表示しています。 すべての投稿を表示
ラベル Unity-雑記 の投稿を表示しています。 すべての投稿を表示

2016年4月6日水曜日

視線検出センサー Tobii EyeX Controller(対応済みゲーム有り) in Unite2016

最近リアルでいろいろ変化があったりで、更新が滞ってましたが・・・。


Unite2016に行って参りました!(唐突


やはりというかVR、AR機器のデモの賑わいがすごいです。話題のPSVRも体験デモしてきました。



そこで超個人的に気になったのが、


トビー・テクノロジー株式会社が出展していた視線入力機器

つまり「眼球の動き」をトラッキングするというやつです。
 (昔、運転免許証の講習会映画上映で、ドライバーの視線トレースしていたのを見たような記憶)



今まさにVRブーム到来(?)寸前(??)だというのに、やや斜め上(斜め下?)なデバイスに、
つい食いついてしまうのはもう性分なのでしょうがないです(キッパリ
(KindleとかUOYAとか地味にマイナー方面なものをつい買ってしまうパターン)


いや、これはこれですごいんですよ! ヽ(`Д´)ノ

少なくとも一昔前に見たときは感動した記憶。
(一応私は発売元会社とは全く無縁です。念の為)



平たく言うと、マウスカーソルを「眼で=視線で」移動できるようなイメージです。
そんなデバイスが1万円程度で普通に買えるというのが驚きです(値段詳細後述。



マクロス フロンティアに出てくる視線追従の多重ロックオンみたいなこともできそうですが、これはこれでFOVEとか他社でHMD一体型があったと思うので、

やはりここは、


映画「マイノリティリポート」劇中のトムクルーズのあのUI

をMotion Leapと組み合わせてできないかという夢を感じます。

Unite2016のTobiiブースで配布されていたDMカードにはこう書かれています。

See the future
Create the future

(゚д゚)(。_。)(゚д゚)(。_。) コクコク

多分本気出せばもう技術的には夢ではないと思います。
(本気出す=リソース確保=金+時間+人材・・・ですかね・・・やっぱり夢?(笑)


無論SDKはUnityも対応してます。



■買うしか


結論、注文しました(超速

製品名: Tobii EyeX Controller


USB接続タイプです。(メガネタイプもありますが、そちらは業務用らしくお値段も高い)。


輸送2週間位とありますが、多分海をどんぶらこと流れてくるので1ヶ月~1ヶ月半位の心の余裕が必要です。

追記: ShippingのUPSトラッキング メールが来ました。Scheduled Delivery Date: Monday, 2016/04/11。って4/5注文で4/11予定表記(時差加味しても4/12)。正味1週間とかかなり早い気がしますがちょっとあてにしてみましょう( ̄ー ̄)
追記:発送元はスウェーデン、UPS便4/9に到着。早っ。

定価は139USD(119ユーロ)。本社はスウェーデンらしいのでユーロ圏ですね。

サイトを見ると4月はなにやらキャンペーン(?)期間らしく、

  • Assassin’s Creed Syndicateのゲームコードが無料(勿論Tobii EyeX Controller対応
  • 海外シッピング無料(これ結構大きい
  • Unite2016来訪者はブースでDMカード貰っていれば139USDが95USDになるクーポンコード有。


シッピング無料は結構太っ腹だと思います。
クーポン併用で119ユーロが83ユーロ。円換算で10871円でした。


購入サイト(海外本社サイト): http://www.tobii.com/xperience/
(ちなみに国内法人サイトはこちら: http://www.tobiipro.com/ja/




■対応ゲーム

数は少ないですが、一部有名タイトルのゲームも対応済みな様子。

サイトに対応ゲームの一覧があります。Assassin’s Creed やTom Clancy
ユーロトラック2等々。


対応アプリ一覧: http://www.tobii.com/xperience/apps/


何気にMSIが出しているゲーミングノートPCのGTシリーズにこのデバイス標準搭載品があったりします(ArienWareに似てる気がするのは気のせい?)。


対応ゲームがあるとすぐ遊べて使用感もわかるし、SDK使って何か作る際の参考にもなりそうです。





■Windows10の生体認証対応

Windows10は生体認証に対応で、それを「Windows Hello」と呼んでいるらしい。

ログイン時にパスワードが不要とあるので、生体認識でログインということだと思います。


Tobiiの本家公式サイトを読む感じでは(理解があっていれば、

  • デバドラ不要。Tobii EyeX Controllerのドライバ類はWindows10にビルドイン済み。
  • 認証には顔、虹彩(アイリス)を用いている。

らしいです。

虹彩は指紋同様に個人識別情報としては古くから有用とされてますが、実際どこまで識別強度が高いのかは気になるところ。

Windowsのログイン用途なら充分かもしれないし、これもちょっと面白そうではあります。

※追記: Windows10にしたので「Windows Hello」使用中。便利ですねこれ。




■技術的な(勝手な)考察

Tobii EyeX Controllerは赤外線LEDと受光センサーを用いているらしいです。
(受光センサーの詳細は不明ですが、画像用のCMOSセンサーかも???)

皮膚自体の温度によるサーモグラフ的なものと、眼球の赤外反射をうまく利用してそう?

眼球は赤外反射が皮膚とは特性が異なると思われます。
また、黒目と白目も眼の構造上反射率が違う気がします。
(猫の目が夜光って見えるときがあるのと似た話?)

ということを仮定して妄想すると。
  • 顔はサーモグラフ的なパターンでそこそこ認識できそう。
    ※というか昔CCDで赤外撮影してたような映像で捉えるのかも?
  • 皮膚と眼球付近の温度差で眼の面積部分を抽出できそう。
  • 黒目中央付近から入射した赤外と、白目付近に投影された赤外は反射の加減が異なるような気がする。
ということから、顔認識、白目面積内での黒目の位置などを割り出せそうな感じかも?





などと、妄想しながら到着を楽しみに待つことにしますヽ(´ー`)ノ

追記: TobiiもMotion Leapも赤外線ですね。同時使用は厳しいかなぁ・・・。Motion Leapも買えばわかるk(ry。

2014年12月14日日曜日

ユニティちゃんディレクター杯 登録してみた



面白そうだったので勢いで製作しはじめたものの、なんやかんやで時間が・・・。


結局締め切り当日にアップロード(汗;


最後の最後まで、ニコニコ動画用エンコードで悩みました。
悩むというか、なかなか思うような高画質にならない。


いや、そもそもビットレート3Mbpsでは激しい動きの動画はきついという感じでしょうか。
(4分間だと最大動画サイズ規定100MBからの逆算でおよそ3Mbps強)

とりあえず(エンコードで)最善は尽くせた・・・と思います。エンコードだけで3日は使い切ってしまったOrz。



お暇な方は是非視聴してみてください


【ユニティちゃんディレクター杯 】ユニティちゃん3人で踊ってもらった


追記:最後の悪あがきで締め切り30分前にギリギリ再エンコ&画質向上版をアップロードできました。(エンコ開始後力尽きて寝落ち>ギリギリで起きたのは内緒w)

【画質向上版 】ユニティちゃん3人で踊ってもらった



今回のCandy Rock Starステージはいろいろと勉強になりました。

いずれ気が向いたらブログにまとめておきたいなとは思います。






ちなみに「これは!?」と思った投稿作品。


【ユニティちゃん】HGベアッガイさんが踊ってみた【3Dキャプチャ】

これはすごいです!。久々にちょっと感動。


父親にも殴られたこともない人 「こいつ・・・動くぞ」

某3倍速い人「ニコニコの技術部はバケモノか」


すごい時代になったもんです。Autodesk のツールもすごいですが、無論使う人のスキルも必須。

正直OculusやMotion Leapよりもこの動画が一番インパクトが大きかったです。


さて、締め切りまで残すところ約10時間、ラストスパート(?)がかかるんでしょうか。




2014年12月10日水曜日

ユニティちゃんディレクター杯 その3

だいたい出来てきて調整段階に突入。


予想通りというか、動画作成に大変手間取り中 Orz。


Youtubeならだいぶ前にAviUtlにて1920x1080で過去アップロードを試してみたこともありますが。

ニコニコ動画はいろいろと大変な様相。

ニコニコ動画のアップロードの制約上、動きの激しい動画ではプレアカにしないと話にならない感じ。


プレアカ前提でいろいろ調べていくと、
(動画時間は4分程度を想定)


  • 最大ファイルサイズは100MBytes。
  • 逆算すると概ねビットレートは3Mbps強が限界。
  • ニコニコ動画側はi420(YUV420)だと良いらしい(DVD世代の非HD仕様)。
  • ここまでの仕様状況を鑑みると動画サイズはワイドなら640x360、スクエアなら512x384程度が限界。
  • ファイルサイズ、動画フォーマットが規定外だと再エンコードされて劣化する。


機会があれば別途この辺はまとめておきたいところですが、とりあえず、

  • アマレココで試す
    →遅かった。XP時代のものなのでしょうがない。
  • アマレコTV(暫定Win7対応版)で60fpsを目指してRGBでHD(1280x720)録画。
    → HDDでは書込が間に合わずコマ落ち発生。
      諸々調整するも玉砕。
    → SSDで強引回避。
  • アマレコTVのタスクスケジュール配分調整
    →たまにコマ落ちの気配を感じたので。CPUパワー不足?
  • AviUtlでMP4にエンコード(640x480化)。
    ニコニコ動画プリセットが使えるところまでやっと環境構築&エンコード。


やっとマシなエンコードができるようになってきたので、キャプチャパラメータ、エンコードパラメータも試行中。


ニコニコ動画ってアップロード制限いろいろと厳しかったんですね;
ほんと制約厳しすぎます;

2014年11月28日金曜日

ユニティちゃんディレクター杯 その2

Unityちゃんの Candy Rock Star がなかなか楽しい。

勢いでテクスチャをさらに改造。
2体分を調整してUnityちゃんず(?)を結成。




一応軽く服/目/髪/スキンを調整。
顔が平たく見える件の改善策で試験的に1体だけは顔スキンをさらに修正(最右。しかしほとんど差がわからない(笑)。


ステージがなかなか良く出来ていて、いじってるといろいろ勉強にもなりますねこれは。

今回は期限もあることだし、あまりいじりだすときりがないのでノリと勢いで進みます(笑


地味に問題なのはニコ動のアップロード必須な条件。
プレアカにしないとぐちゃぐちゃの動画しかアップできないんですよね。

うーん、1ヶ月だけプレアカにするしかないんですかねぇ。Youtubeでも可なら良かったんですが、タグの検索性がよろしくないのかな。




2014年11月26日水曜日

ユニティちゃんディレクター杯開催

しばらくUnityから離れていたらいつの間にか、

ユニティちゃんディレクター杯

が、開催中らしい。

あのCandy Rock Starステージがまるっとプロジェクトファイル公開されている。
これは良い、うんうん。

しかもUnity PRO版が開催期間中無料利用可。


ちょっといじってみたので以下少し雑感など。


追記:
ディレクター杯に投稿した作品はこちらから見れます。
【画質向上版 】ユニティちゃん3人で踊ってもらった

混雑で画質が落ちる場合は、こちらの低解像度/軽量版もあります。
【ユニティちゃんディレクター杯 】ユニティちゃん3人で踊ってもらった


■Unity PRO版

開催期間中のみではあるがメアドさえあれば「ユニティちゃんディレクター杯」の公式ページでライセンスキーがもらえる。
面倒なガチ登録はないのでほんとに即使えるようになります。

Candy Rock StarプロジェクトファイルはPRO版の機能を使いまくってるようで、PRO版で動かさないと効果半減なので注意(`・ω・´)b

■PRO版の威力

やっぱりPRO版すごいですね。無料版とは違う感。
(エンジニア的にはプロファイル機能とかも興味ですが)

Candy Rock Starでは床面鏡面反射、被写界深度表現、プロジェクション投影(?)、パーティクルのキラキラ(?)などサクサク動いてます。これは萌える(`・ω・´)☆
※ぱっと見紙ふぶきパーティクル源2系統 MAX8000+Unityちゃんの手から放出分で結構な量がでてると思いますがサクサクですね。

■Candy Rock Star

説明が少ないのでちょっとわかりにくい感はあります。

Candy Rock StarのGitHubのWikiなどに少し説明有り。
(最初リップシンクがうまく動かせず。こちらの説明でなんとかなった)

Unityちゃんのボーン構造は従来と同じものなので、顔や口のモーフアニメのObjectはBlenderで死ぬほど弄ってたのですぐわかる感じ。

特徴的なのはシーン上のUnityちゃん他機材モデルも動的生成している点。


Unityちゃんを複数出す

これは簡単にできます。
シーンMainを開いて、Hierarchy の Stage Director を選択。
Inspector の Prefabs On Timeline で動的生成を指定する作りになっているようなので、ここの Size を2→3に増やす。
増えた Element に Candy Rock Star を指定。
これだけでUnityちゃんが1体増やせます。


リップシンク

Unityちゃんを増やす要領で Element に LipSyncController を追加すればできそうですが、これだけではうまくいきません。

Unityちゃんモデルのクチのオブジェクト名 MTH_DEF をFind検索する作りなので同名Objectが存在することになってしまいうまく動作しない。

この MTH_DEF オブジェクトを特定しているスクリプト LipSyncController を修正対応すればできました。

今回はAsset上にUnityちゃんモデルを数種コピーし異なるモデル名としました。
スクリプト LipSyncController 内にモデル名を指定するPublic変数を追加、その子オブジェクト階層から MTH_DEF を見つけることでリップシンク先を特定。

ただこの方法だとUnityちゃんを10体出すとAsset上にも10体必要になるので、そういう場合は動的生成されている MTH_DEF をすべて見つけてスクリプトLipSyncControllerで制御するようにすればできると思います。
※もっと簡単な方法もありそうな気はしますが・・・。

とりあえずな技術的な雑感メモ(?)

アバターの身振りアニメーションとリップシンクは完全に別制御。
基本は曲の進行なので、リップシンクも時間軸を基準に動作。
身振りアニメもFBXに曲長さ分が収まってるようなので、外部ツールなノンリニア編集的な設計思想と思えばピンとくる・・・のか。
※そう考えていくとBlenderなどのノンリニア編集機能で時間基準で全て作りこんで最終的にUnityに落とす方が効率的に思えてきてUnity上でメインに作業するモチベが下がるので外部ツール編集云々はあまり考えないことにします(笑)

例えばAndroid等の低性能機で高負荷動作させると曲再生はスムーズに進みつつも、モデルのフレーム再生がついてこれない状況が場合によっては発生します(Candy Rock Starでも実際Android機では起こせます)。

ようはMP3、FBXアニメ、リップシンクがヨーイドンで再生開始し、きちんと再生していけば同期しているようにみえる。
しかし再生中に相互に同期する手段が難しい(ほぼムリ?)ので、何かしらの要因で再生が滞るとそこからズレが累積していく。ここらは一応覚えておくと何かの際に悩まず済むかもしれない(諦め/割り切りに即辿り着けるのでw。

Candy Rock StarをAndroidで動かす

とりあえず無料版Unityで動かしてみました。ほんと「動いただけ」ですけど。

元のプロジェクトの状態のままでは、
  • Android機でアプリ起動に分単位を要した。
    →アプリのipkファイルも60MB超えてますので・・・;
  • カクカクです
    →秒間nコマというより、1コマに何秒の世界がキミを待っているm9(・∀・)

ほぼ絶望的な状況ともいえますが、実は結構アッサリなんとかなります(動かすだけなら

Visualizerがとにかく重い原因です(人力的プロファイリングによる特定)。
なので Stage Director の Misc Prefabs あたりでVisualizer を切ったりなどで、とにかくVisualizerを切りまくります。それだけで急に激軽くなります。

無料版UnityだとPRO版の重い機能も自動的にOmitされるのでそこらは労せずカットできるという、超合理的な手抜きチューンも併用(笑。
AndroidのOpenGL2.0ESでは動かない効果が多いらしいのでどうせいらないと思われます。

これだけでME-173X程度の性能なら普通に30fps前後はでますのでAndroid4.x世代機ならおおむね動作可能域かと思われます。


あとはアプリの起動時間はいかんともしがたいので、テクスのサイズを切り詰めます。
  • テクスチャを全部切り詰める
    AndroidにターゲットをSwitchして個々のテクスチャ毎に Texture Typeを Advanced にしてサイズとフォーマットを軽量化。
    Unityちゃんモデルのテクスは原画2048、PC用で1024ぽいですが、これを512か256まで落とします。フォーマットもDXTとかETC2など適当に低サイズになるように変更。
    ※この時RGBとRGBAがあるので注意。
    他のステージのテクスチャもその要領で削り込む。

  • 切り詰めるコツ
    昨今のAndroid機はHD解像度が多いですが画面の物理サイズは小さいので人間が視認しにくそうなところはガツンと削ります。大きいものから先に削ると効果的。
    例えばステージ後ろ上部のタイトル部分などはもう256以下でもいいくらいに。Lightテクスとか256ですがこんなのはもう64とか32以下でもイイデス。Unityちゃんの髪とかもかなり落としてもごまかせます。

これでだいたい ipkサイズが50MBくらいにはまずは減らせます。
アプリ起動時間が15秒以下くらいになった感じ。テクスが小さくなった分読込&圧縮展開負荷が減った効果が大きいのかも?。

ちなみに再生fps的にはテクスのサイズを小さくしても効果薄です。この点はサイズよりもドローコール数の削減の方が影響が大きいかもしれない。

パーティクルの同時発生数も削っていくと若干軽くなります。

■さてと・・・

ちょっとだけモチベが上がってきたのでディレクター杯用に何か作ってみようかな・・・などとラブライブを流し見しつつ思ってみたり、みなかったり。
※アイマスは見はじめるといつのまにか作業が止まっていたので(笑

うちみたいなのが作るしょぼいのでも気軽に応募できそうな雰囲気が良い感じ。
(MMDとかアイマス方面は怖くてムリデス。ガクブル)


某記事でしょこたんのituneリストにゴレンジャーがあったのを見て「5人か」と思い立つ(謎
テクスチャ調整二人目で疲れたのでとりあえず3人。

モデル改造は日数的にきついし。「ディレクター杯」なので、ディレクションを主軸に(逃

このCandy Rock Starのモデルでダンスは良く動いてます。

ほんと作者の方すごいです、モチベ上がりますね。

ダンスもバンダイナムコ作らしいので、これまたよくできてます。


早くいろいろなディレクター杯応募作を見てみたいですね~。
(というか、自分も早く何か作れよ・・・なのですが;

2014年5月18日日曜日

キャタピラらしきモノのテスト


先日「テクスチャをスクロールするサンプル」 にて、

なにやらクルクル回るモノを作っていましたが、

実はキャタピラっぽいモノを試しに動かしてみたかったわけでして。


UVを動かす方法も試行してみましたが、2D面なら良さそうなんだけどなぁ・・・とか。
頂点配列を全部オフセットする必要があるようで、頂点多いとこれはどうなんだ・・・とか。

ちょっとまだ見極め切れておらず、どれが良いのか。



とりあえず、テクスチャオフセットが一番楽で早そうな気がしたので、

これで動いている雰囲気を試してみようという感じです。

SSはノーマルマップ無しですがUnity動作上では貼っています。
スクリプトは先のサンプルそのままで外周のキャラピラを動かしています。

モデルはホイール(シリンダx5)、キャタピラ(シリンダ)とCube1。










ということで、キャタピラ「らしき」モノの動画をとってみました。





視聴する方は、過度な期待はせず、いろいろと広い心でお願い致します( ̄ー ̄;)。

追記:元は60fpsで綺麗に高速正転/逆転してるんですが・・・なんかアップロードしたら回転がわかりにくくなってしまった;




2014年2月5日水曜日

Unity関連情報メモ

Unity的なTopicメモ

  • Unity for PSMベータテスト開始 (Unity for Playstation Mobile)
    Playstation VitaのUnity版開発環境ができるようだ。
    アプリをPlaystation Storeで販売とか考えている様子(ベータではできない)
    βテスター募集のお知らせ
  • ドラゴンクエスト8(スマホ版)はUnityとのこと。
    SEGAやら大手はもうほとんどUnityでゲームリリース実績がある感。
  • 2/5時点でUnityがVerUp
    1月中含め2~3回VerUpきたと思う。
    エディタのIME問題とかさりげなく発生頻度0になってたりで、地味にFixされてる感じ。
  • Unity-Chan
    http://unity-chan.com/
    「ローポリ スーパーテクニック」の著者がデザイン担当。
    ライセンスはAssetStore準拠との意向(正式発表はまだ公式サイトにない)。Unity以外での利用可。
    大手メーカの商用利用には監修が入るらしい?
    どうなるのかちょっと期待。


うーん、VITAか・・・一応β無料応募できるらしいが、ストア出しはβではできないような記載。

どうも、VITAとかVISTAとかこういうネーミングはダメだよね(ぇ