Meta Quest3が発売となり、搭載カメラがカラー撮影に対応しました。
これに伴い「Virtual Desktop」というアプリがパススルーのクロマキーに対応し、背景切り抜きが可能になりました。
これにより、VRエロゲーでは搭載カメラを使用してゲーム内のキャラを自分の部屋へ表示することが可能になり、ゲームのキャラクターが自分の部屋にいるようなプレイが可能になります。
今回はMeta Quest3を使用した、Virtual Desktopの導入と設定方法を紹介します。
Virtual Desktopとは
「Virtual Desktop」はPCとワイヤレスで接続し、PCの画面やゲーム画面をVRヘッドセットへ映し出せるアプリです。
低遅延、高品質が特徴で、MetaQuest純正の無線接続「AirLink」よりも軽快な動作が可能、AirLinkは使用せずVirtual Desktopを使用するプレイヤーも存在します。
有料のアプリですが、パススルーで遊べるようになり、プレイの幅が広がります。
動作要件
Virtual Desktopを使用する場合、PCのスペックやその他機器の動作要件が存在します。
事前に現在使用している機器が要件を満たしているか確認してください。
対応ヘッドセット
- Meta Quest 1, 2, 3, Pro
- Pico Neo 3, Pico 4
- HTC Vive Focus 3,XR Elite
ハイスペックPC
Virtual DesktopはMetaQuest純正の無線接続AirLinkより動作が軽快ですが、PCがハイスペックではない場合低画質でプレイする事になり、VRの没入感が失われてしまいます。
すでにPCがハイスペックでVRゲームをプレイできている方であれば問題ありませんが、スペック不足の場合は動作に遅延が発生し酔いの原因となってしまうことがあります。
一応スペック不足でも描写画質を落とせば遅延は解消されますがオススメはしません。
目安として、グラフィックボードは最低でもRTX3000シリーズ以上でRTX3070以上でないと厳しいです。
Wi-Fiルーター
PCとヘッドセットはWi-Fiを使用した無線接続を行うため、Wi-Fiの通信速度が重要になってきます。
Wi-Fiの通信規格が古いWi-Fiルーターを使用している場合、通信速度がボトルネックになり遅延が発生して動作がカクカクしてしまいます。
快適にプレイする為には、Wi-Fiの通信規格が「Wi-Fi6、6E」の5GHz対応のルーターを用意する必要があります。
Virtual Desktopインストール
Virtual Desktopはヘッドセット側とPC側の両方でアプリのインストールを行う必要があります。
アプリ購入(Quest3)
Virtual Desktopは有料アプリで2208円で購入が必要です。
各ヘッドセットに対応したストアから購入を行ってください。
インストール(Quest3)
購入後はQuest3の購入履歴やストアのVirtual Desktopを開いてインストールを行ってください。
起動(Quest3)
Quest3からアプリを起動します。
初回は警告表示で、下部に表示されている「Username」を後で使用しますのでメモをしてください。
Streamer(PC)
次はPC側へStreamerというアプリをインストールします。
公式HPへアクセスしてWindowsのStreamerをダウンロードしてください。
https://www.vrdesktop.net/
インストール(PC)
ダウンロードした「VirtualDesktop.Streamer.Setup.exe」を実行してインストールを行います。
ウィザードが表示されますので「Next」と「Install」で進めてください。
インストールが完了すると、そのまま起動するかチェックが入っていますので、「Finish」で終了してアプリを起動します。
設定(PC)
Virtual Desktopを使用する時はStreamerを起動した状態でプレイを行います。
左にメニュー項目があり、「ACCOUNTS」の「Oculus Username」へ先ほどメモをしたUsernameを入力します。
環境によっては自動で名前を認識して入力が行われる場合もあります。
Yesを押すと自動で反映してくれます。
接続確認(Quest3)
上記設定で問題なければ、Quest3側のVirtual Desktopを確認します。
PC名が表示され、Connectedと表示されていれば接続完了です。
接続できない
PCにインストールしているアプリ等の環境によっては、PCとQuest3の接続がうまくいかないことがあります。
その場合、Streamerを起動すると接続の障害となる可能性があるアプリが表示されます。
対処法も記載されていますので参考にしてみてください。
私の場合、「GeForce Experience」と「ESET」が接続の障害になる可能性があると表示されました。
対処法には「GeForce Experience」はオーバーレイ表示をやめる、「ESET」はアンインストールしろとのことです。
結論からいうと、GFExpはそのままで問題なし(パフォーマンスが落ちている可能性有)、ESETはファイアウォールでStreamerを許可することで接続可能でした。
ESETはAirLinkでもブロックして接続できないことが有り対応したことがあったので、すぐに原因が分かり対処できました。
ESETは結構ガチガチにブロックしてしまうので、ESETを使用している方でVirtual Desktop使用時はファイアウォールを無効にするか、個別にVirtual Desktopアプリを許可してください。
画質設定(PC)
Virtual Desktopはデフォルトの設定状態でも問題なく使用できますが、画質の設定を行うことでさらに高画質でプレイが楽しめるようになっています。
設定項目が多いので最低限の設定で高画質でプレイできるようになる項目を紹介します。
Streamer側のOPTIONSで画質や動作の設定が可能です。
Preferred Codec(PC)
「Preferred Codec」ではPCからヘッドセットへ転送する圧縮コーデックを指定できます。
使用しているヘッドセットやグラフィックボードによって使用できるコーデックに制限が存在しますので注意してください。
基本的にプルダウンの下に行くほど画質が上がります。(同じ名前でも10bitはさらにグラデーションが上がる)
正直HEVC以上は見比べないと分からないレベルなので、HEVCとAV1のどちらかの選択で問題なさそうです。
AV1はQuest3しか選択ができません。
その他項目
他の項目は基本的にデフォルトでも問題ありませんが、気になる方は変更してください。
一部のみ詳細を記載してます。
私はStart With Windowsのみオフであとはデフォルトで使用しています。
- Audio Streaming
音をヘッドセットのみかPCのみ両方に出力するか設定できます。 - Automatically adjust bitrate
ビットレートを環境に合わせて自動設定するか、画質を上げたい場合はオフ - Start with Windows
StreamerをPC起動と同時に起動するか、毎日プレイするなら起動の手間が省ける
画質設定(Quest3)
Quest3側の画質設定です。
左のSTREAMINGから設定が可能です。
設定項目が多いので最低限の設定で高画質でプレイできる項目をします。
VR Graphics Quality(Quest3)
レンダリング解像度の設定をします。
各項目の目安となるグラフィックボードのスペックが記載されていますので参考にしてください。
高画質でプレイするのであれば、最低Highが快適に動作するPCが好ましいです。
RTX3090環境では、Ultraで特に重くなったりカクツキもなくプレイできましたが、Godlikeではシーンによってはカクツキが確認できました。
プレイするゲームの登場キャラ数等で大きく変わるので、常に高画質を求める方は都度変更してください。
- High
RTX3070程度 - Ultra
RTX3090程度 - Godlike
RTX4090程度
VR Frame Rate(Quest3)
ヘッドセットのFPS上限を設定できます。
最大120FPSまで設定可能で、90FPSか120FPSがオススメです。
本記事のメインであるQuest3でパススルーを使用する場合、90FPSが設定可能上限となっていますので注意してください。
VR Bitrate(Quest3)
ビットレートの使用上限設定
Wi-Fi6、6Eを使用していれば最大でも帯域不足にはなることはないので基本は最大で問題ありません。
VR Passthrough(Quest3)
クロマキーを使用した色抜きを行う設定
詳細後述
SETTING(Quest3)
左のSETTING項目では、ゲームプレイ以外(デスクトップ表示)時の設定が可能です。
パススルーには関係ないので90FPSとビットレートを最高にする程度でいいと思われます。
パススルー設定(Quest3)
本記事メインのパススルー設定を行います。
VR Passthrough(Quest3)
Quest3側のVirtual DesktopでSTREAMING「VR Passthrough」の「Enabled」にチェックを入れます。
その後、右の「Configure…」を選択します。
クロマキーに使用するカラー設定を行います。
標準的な緑に設定する場合、「Green」を255の最大まで増やしてください。
パススルー確認(Quest3)
クロマキーが反映されるか確認を行います。
今回はゲームの標準機能として背景をグリーンにできる、コイカツのスタジオを使用します。(要スタジオVR化)
グリーン背景で開始、自分の部屋が映し出されてキャラが切り抜かれて表示されいれば成功です。
フチ取り
キャラをよく見ると境界線のフチに緑が残っていて境目が気になります。
綺麗にフチを切り抜きたい場合、VR Passthroughの「Similarity」の数値を上げてください。
Similarityは設定した色(緑)と似た色をどこまで切り抜くかの設定で、数値が0%は境界線のようなあいまいな部分は切り抜きがうまくいかず境界線が目立ちます。
ゲーム側で設定した色にもよりますが、30%~40%程で違和感なくフチが消えました。
数値を上げすぎると似た色まで消えてしまうので調整してください。
無線機種の必須アプリ
初回は色々設定を行う必要があるので多少手間ですが、基本的にPCスペックが変わらない限り再設定する必要はありません。
今回のVirtual Desktopを使用したパススルーは、パススルーに対応していないゲームをクロマキーで切り抜く方法となります。
コイカツを使用しましたが、本編や公式VRでは背景をグリーンバックにできない為、スタジオ以外はパススルー化不可能です。
ゲームの背景をグリーンバックにする必要がありますので、ゲーム自体がグリーンバックにできない作品ではパススルー化できない作品も存在します。
パススルーに対応している同人エロゲーでは、グリーンバックも操作も必要なくQuest3でカラーパススルーが楽しめます。
コメント
コメント一覧 (7件)
Virtual Desktopでハニーセレクト2のVRパススルーしたいのですが
何故かスティックボタンだけおかしくてなってH開始が出来ないのですが
設定がおかしいんですかね
一応デフォルトにしてるけどコイカツサンシャインはスティック操作は反応ありますquest2と3同じ現象なのでコントローラが効かないはないと思うのですが
ハニーセレクト2のVRコントローラの問題ですが
解決方法は簡単です
STEAMからゲーム起動ではなくで
デスクトップ右下のVirtual Desktopからゲームを選択して起動すれば解決です
QUEST2 黒白試してみましたが素晴らしい KKSにも親子つけできればな...
コイカツの本編や公式VRで背景をグリーンバックする方法とは呼べない方法ではあるが
緑の球体キュプアクセサリー腰につけて、100倍大きさにし、影があれば影描写Xして実質背景グリーンになってる
がかなり面倒
例えばグリーンだけのマップMODがないかな・・
MODみつかりました。無印にもパススルーできました。
うぷろだの[KK] 公式VR操作性改善MOD改(v1.2.0.7 パススルー用機能追加)
ほんと製作者に感謝です
バーチャルデスクトップとオキュラスクエスト3を無線接続してカスタムオーダーメイド3d2を起動したらクエストのコントローラーの設定がめちゃくちゃになり非常に使い辛くなりました。オキュラスリンクの様な自然なボタン配置にする方法がわかればアドバイスを宜しくお願いします
もう解決済みかも知れませんが、私はこの方法でうまくいきました。↓
https://twitter.com/BeliefValfalk/status/1319294282591686663
コントローラのマッピングが狂うのはstermVRのせいなので、stermVRを使わないように
COM3D2を起動してそれをバーチャルディスクトップに渡してやればと考えて↑のポストに
だどりつき、わたしは解決することが出来ました。