BMS en AR (Pico4Ultra)

[Fullnegi]

Je laisse ma petite vidéo parler pour moi

(ps : c'est un test à l'arrache)

[Dud FFW36]

Punaise ça c'est top le pit et la vr.
Faut une config de malade je suppose ?

[Fullnegi]

Ryzen 5700x et une RTX 3070ti, et ça tourne.
Le tout étant surtout d'avoir une bonne connexion wifi pour le casque et d'avoir un ordi sur câble ethernet, ce qui n'est pas mon cas pour le moment (d’où la latence entre le vrai pit et Falcon dans la vidéo)

PS : oui je sais, je joue à Falcon en multi en wifi, je suis impardonnable

[eutoposWildcat]

Ça reste très impressionnant !

[Dud FFW36]

Le casque ne peut pas être connecté en physique ?

[Cat]

Superbe ! Mais quelle latence entre le réel et le virtuel…

[DeeJay]

Pas tant que ça (fonction du casque utilisé)



Et là, d'après Marvin, la latence est augmenté par le logiciel de capture vidéo sans quoi elle est inférieure.

[Cat]

Ça me rassure. Merci DeeJay.
La carte graphique doit aussi certainement participer à diminuer cette latence.
D’ici deux ou trois ans cela devrait être parfait.

En attendant, même avec de la latence, c’est fantastique

Tu connais sa conf à Marvin ?

[Dud FFW36]

Pfiou clairement très bon sur cette vidéo DJ.

Chérie viens voir

[Fullnegi]

The ViperSimmer :
Les commentaires sous cette vidéo sont désactivés, mais j'imagine qu'il répondra sur la vidéo précédente (ramp start en AR), ou sa page Instagram ou sur Viperpits
TheViperSimmer (Marvin) utilise un MetaQuest3. Avec le Pico4Ultra, c'est choux-vert et vert-choux à ce niveau.


Connexion PC/casque + Passthrough:
Pour faire de la Mixed Reality/Augmented Reality (AR), le soucis est que le casque (le Q3 comme le Pico) doivent passer par l'application VirtualDesktop pour faire la connexion avec le PC
-> appli VirtualDesktop achetée depuis le store du casque, et le soft "Virtual Desktop Streamer" sur le PC (gratuite depuis leur site, pas prendre la version Steam).

Et ce soft est prévu pour relier PC/Casque uniquement via la connexion réseau, pas en USB.
-> Idéalement, PC connecté par câble et le casque en Wifi-6 5ghz dédié (ce qui n'est pas mon cas).

Pourquoi passer par ce soft?
Seul ce soft permet une incrustation en chrominance/par couleur (Chromakey Passthrough). C'est à dire faire un "fond vert". Et sur ce "fond vert", on fait passer l'image directe des caméras du casque.
Virtual Desktop semble être le seul soft "PC-VR" à être assez mature et proposer ça.
Visiblement, Meta et Pico ne veulent pas intégrer cette fonction nativement dans leur soft qui connecte le casque au PC.


Au niveau de Falcon :
C'est un raccourci clavier à rajouter dans son Keyfile, car Falcon a déjà tout prévu !! :D Et qu'à la place que le fond soit vert, il est magenta.
En bref, ce raccourci permet d'afficher/enlever un masque magenta sur tout le cockpit.
(voir la dernière page du BMS VR_Guide, tout est super bien expliqué).
Il y a également une ligne à ajouter dans son Falcon_BMS.CFG si on veut l'afficher par défaut.
Falcon a prévu plusieurs masque (fullpit, deskpit, ..) et la commu en partage également : https://forum.falcon-bms.com/topic/2852 ... pository/3


Pour parler de la latence :
La latence n'est pas due au casque, et pas spécifiquement à la config du PC non plus.
On parle bien de latence, c-a-d le délai entre le casque et le PC. C'est pas du tout une question de FPS/image par seconde (qui sont OK chez moi).

En réalité, j'ai la même chose que ce soit VR pure ou Mixed Reality :
Au niveau de la rotation de la tête, c'est quasi parfait. Je n'ai aucune gêne, et très peu de latence (environ 20ms)
Par contre, au niveau des mouvements latéraux (mouvement de translation de la tête, d'un MFD à l'autre par exemple) -> là, j'ai de la latence, et c'est même un peu gerbant. Et ceci, même quand je met tout au minimum (résolution, etc..). On parle de : stuttering/jiggling/jittering

Sachant que le passthrough (mon vrai cockpit), je le vois en temps réel, sans aucune latence (puisque ça passe dans le casque direct, sans passer par le PC), la latence inhérente à la VR est simplement exacerbée car elle souffre de la comparaison avec l'image en temps réel du vrai pit.
En VR Pure, je ne fais juste pas attention à cette latence, mais elle est bien là.

Optimisation :
C'est donc le bon moment pour se rendre compte qu'il faudrait (enfin) se pencher sur l'optimisation de sa configuration casque :
Commencez par mettre tout au minimum, puis tentez ceci :
1- Aller voir dans les options graphiques de la CG (nvidia control panel), options du casque, SteamVR/OpenXR ou encore du soft qui relie le casque au PC (virtual desktop) -> honnêtement, c'est l'ENFER de test tout 1 à un, sachant que des options agissent l'une sur l'autre etc...
2- Investir dans un super router wifi-6 en 5Ghz de la mort -> mais attention pour l'ouverture de port dans Falcon (routeur derrière un routeur).
3- On peut également brancher un adapteur USB-C/RJ45 ou un Hub-USB (alim+RJ45) sur le casque et le brancher de cette façon par câble, mais vu les perf du Wifi-6, et l'optimisation de Virtual Desktop à ce niveau, pas sur qu'on voit de différence.... C'est en réalité la compression/décompression de l'image qui devient un goulot d'étranglement. Vous pourriez avoir une connexion 10Gbit/s par câble, le casque serait limité vers les 500Mb/s de bande passante.
4- Options de Falcon à vérifier (BMS_Config.ini) https://forum.falcon-bms.com/topic/2387 ... o-vr-users
5- Essayer un environnement lumineux (pour que le casque comprenne dans quel sens il est tourné, et qu'il revienne bien à sa position).

Encore une fois, dans ma vidéo, c'était pour challenger la solution. Je bouge beaucoup la tête, je fais des mouvements erratiques etc... et je n'ai rien optimisé.
C'est déjà vachement plus stable et confortable quand je suis calme

Pour la suite, je dois améliorer ma connexion réseau, et me pencher sur ces problèmes de "stutering"/"jiggling/jittering" qui est un problème inhérent/récurant à la "PC-VR" (quand le casque est relié à un PC et que les deux s'échangent des infos en simultané).
Quelques pistes à suivre sur le forum de BMS, sinon google, reddit, ...


Pour résumé :
ça demande pas une machine plus importante que pour de la VR Pure.
Il faut juste soigner la configuration de ses softs et éviter les bottleneck réseau.

Un peu de rab ? -> https://forum.falcon-bms.com/topic/2781 ... -reality/8

voila

[Cat]

Merci Full pour toutes ces indications. Elles mériteraient d’être scotchées.
Il me tarde de pouvoir faire la même chose mais bon, j’ai un pit à finir avant ….

[Fullnegi]

@Cat, honnêtement, ce que tu vois là, ça m'a pris une soirée avec un casque que je venais d'acheter :D
J'ai surtout bien lu le VR_Guide dans les docs de BMS, avec quelques conseils de Miky et Diabolo (merci à eux!)

Ce n'est qu'ensuite que je me suis penché sur les problèmes de stuterring.
Comme on dit, c'est l'optimisation qui prends du temps

Mais c'est déjà jouable en l'état.

[akulax]

...ces problèmes de "stutering"/"jiggling/jittering" qui est un problème inhérent/récurant à la "PC-VR" (quand le casque est relié à un PC et que les deux s'échangent des infos en simultané).

tu pourrais etayer car je suis pas sur de comprendre le prb ...

[Fullnegi]

Les problèmes de "jiggling/stuttering/jittering" dans un casque VR connecté à un PC peuvent être causés par des facteurs liés au transfert de données, au traitement graphique et à la synchronisation.

1. Latence de Transmission des Données
Connexion Réseau (Wi-Fi) : En VR, le transfert des données (images et mouvements) doit être ultra-rapide pour offrir une expérience fluide. Une connexion Wi-Fi peut introduire de la latence (délai de transmission), surtout si le réseau est instable ou si plusieurs appareils l'utilisent en même temps. La latence crée alors un décalage dans le rendu des mouvements et des images, générant du "stuttering" (saccades) ou du "jittering" (tremblements).
Connexion USB : Bien que plus stable, l'USB n'est pas conçu pour transmettre de la vidéo de haute qualité en temps réel avec une très faible latence comme le HDMI ou le DisplayPort le feraient. La bande passante de l'USB peut être saturée, surtout si on utilise un câble long ou de qualité inférieure, ce qui peut entraîner des fluctuations de latence et donc du jiggling.

2. Qualité et Débit de Compression Vidéo
En mode sans fil, les images doivent être compressées pour être transmises à travers le réseau (Wi-Fi) en temps réel. Cette compression, même si elle est optimisée, ajoute une charge supplémentaire au GPU, qui peut entraîner des délais de traitement et des artefacts visuels. Cela peut être une cause majeure de stuttering si le débit de compression n'arrive pas à suivre la fréquence de rafraîchissement souhaitée.
Par USB, même si la compression est moindre que sur un réseau sans fil, elle existe toujours pour s’adapter aux limitations de bande passante de l’USB. Les interruptions ou ralentissements du flux de données peuvent entraîner des effets de jiggling si le casque n’arrive pas à afficher les images à un rythme régulier.

3. Synchronisation entre le Casque et le PC
En VR, il est crucial que le rendu graphique du PC soit parfaitement synchronisé avec le casque pour éviter des incohérences entre les mouvements de la tête et l’affichage des images. La connexion par réseau ou USB introduit des fluctuations de latence, ce qui rend la synchronisation difficile. Par exemple, un léger retard dans la mise à jour des images dans le casque peut entraîner des effets de jittering et de stuttering, car les mouvements de l’utilisateur sont déjà en avance par rapport aux images affichées.
De plus, les images doivent être envoyées au casque dans le bon ordre et avec le bon timing. Si le tampon de données se vide ou s’accumule (à cause de la compression ou de la transmission réseau), le casque peut sauter des images (stuttering) ou montrer un léger décalage (jittering).


D'ou le fait qu'avoir un Wifi 6 dédié, et utiliser la bande 5ghz pour le casque se révèle plus utile qu'avoir un PC de malade qui fait déjà tourner la VR Pure sans trop de problème

Le top du top serait d'avoir un casque dédié au "PC-VR" en passant par du HDMI par exemple (Vargo ou autre). Mais on rentre vite dans un autre budget.

[Dud FFW36]

Merci pour les explications Full.

Je verrai plus tard quand mon pit V2 sera avancé.
Est ce qui serait pas utile d'avoir une zone morte correspondant à la position de tête "neutre" pour limiter les mouvement erratiques de ta tête ? C'est ce que je fais avec mon track et ça évite un effet

[Cat]

Très intéressant ce que tu dis, Full
Merci pour tes explications

[Fullnegi]

2e petit test.
J'ai eu du mieux après avoir fait la vidéo (dommage), en réduisant le bitrate
-> ça augmente la qualité de l'image en terme de compression mais augmente aussi la latence. En fait, 30/40Mbit/s, c'est assez pour ne pas voir les artéfactes de compression, et ça laisse assez de bande passante pour la fluidité de l'image

Je commence à trouver doucement le bon réglage.

En attendant :

[Fullnegi]

Est ce qui serait pas utile d'avoir une zone morte correspondant à la position de tête "neutre" pour limiter les mouvement erratiques de ta tête ? C'est ce que je fais avec mon track et ça évite un effet

-> ça c'est bien pour de la vidéo ou sur un écran plat. Mais dans un casque...
Les mouvements erratiques ou naturel de la tête, ça doit JUSTEMENT être pris en compte par le casque (sinon c'est la gerbe :P)

[akulax]

Merci Full pour tes explications !

[DeeJay]

Est ce qui serait pas utile d'avoir une zone morte correspondant à la position de tête "neutre" pour limiter les mouvement erratiques de ta tête ? C'est ce que je fais avec mon track et ça évite un effet

Surtout pas.

Il peut y avoir éventuellement un léger "lissage" (comme avec OpenXrToolkit) mais ça peut aussi avoir des désavantages. Les micro mouvements de la tête sont imperceptibles sous Vr (tu ne les vois franchement qu'a l'écran).

[spiryth]

Merci pour les vidéos et les diverses explications.
L'immersion à l'air complètement folle !

C'est vraiment le genre de solution qui donne envie de construire un pit, de changer de config PC, d'acheter un casque...

[Cat]

C'est vraiment le genre de solution qui donne envie de construire un pit, de changer de config PC, d'acheter un casque...

Bon eh bien on se revoit dans 10 ans …

[Cat]

Mais dis moi Full, il n’y a pas de liaison vidéo sur ton casque ?
Sur mon vieux Rift, il y a un display port….

Sinon est-il possible de relier ton casque en wifi si ta carte mère en dispose d’un ?

[DeeJay]

L'immersion à l'air complètement folle !

Avec ses limitations ...

Les ombres et l’éclairage du cockpit sera celui de ta pièce ... pas celui de l’environnement simulé. En plein jours, sa va, en pleine nuit, ca va ... entre deux et/ou pendant des évolutions ... tu vois ce que je veux dire ... ?

[Fullnegi]

Mais dis moi Full, il n’y a pas de liaison vidéo sur ton casque ?
Sur mon vieux Rift, il y a un display port….

Sinon est-il possible de relier ton casque en wifi si ta carte mère en dispose d’un ?

En effet. Sur ces casques, on trouve un connecteur usb-c (surtout destiné à la recharge en fait) et ils sont équipés du wifi.
Pas de connecteur vidéo dédié.

Pour ça, il faut aller sur du Varjo ou du custom. C'est pas le même prix (3500e mini) On parle bien d'une solution "grand public" ici. À l'heure actuel, et vu comme ça évolue, grand public, ça veut dire : pas de connecteur vidéo dédié au PC. Ce sont des casques surtout prévu pour être stand-alone en fait. D'ou la popularité de Virtual Desktop pour ceux qui veulent le relier au PC et le manque d'une solution native complète.

Je peux voir si config le PC pour qu'il génère son propre SSID et connecter le casque dessus directement fait sens ou pas.

@DJ : dans la vidéo on voit que le pit est dans l'osbcurité et il fait jour dans Falcon. On voit même que je me prends un voile noir. Honnêtement, ça ne gache en rien l'immersion, dans un sens comme dans l'autre. Pour ceux que ça intérresse, un gars à émit la possibilité d'un "ambi light" pour cockpit sur le forum BMS.