Test de 3 outils de visioconférence dans un environnement réseau de qualité moyenne

 
Chacun d’entre nous a expérimenté la mauvaise qualité d’un appel conférence qui se fait avec des outils du marché comme Google, Skype ou bien Zoom.
 
Une erreur commune de faire des conclusions sur la qualité de l’outil, en fonction d’une expérience lors d’une mauvaise communication réseau. Le réseau a ses humeurs que l’on ne maîtrise pas.

Quelle est la qualité d’un réseau ?

On peut déterminer la qualité réseau de plusieurs façons, nous resterons ici sur une appréciation simple de cette dernière.
Nous nous appuyions, dans ce test, sur l’outil de Ping
 

 
Un bon réseau : c’est un réseau qui répond en moins de 10 ms, qui a une bonne stabilité, sans pertes de paquets.
 
Un réseau de qualité moyenne : c’est un réseau qui répond en moins de 100 ms, et qui a entre 0 et 3 % de pertes de paquets.
 
Un mauvais réseau : c’est un réseau qui a régulièrement des temps de connexion qui dépassent les 100 ms et qui a entre 2 et 10 % de pertes de paquets.
 
Dans un réseau que l’on peut qualifier de bon, on aura aucun problème à utiliser tous les outils de Web conférence, on aura sans doute pas beaucoup de limite ou de désagréments.
 
Dans ce cas c’est surtout l’ergonomie de l’outil qui rentre en jeu, et sa capacité à établir le lien entre les deux ou trois intervenants.
 
À l’inverse dans un mauvais réseau, les outils de Web conférence sont très contraignants à utiliser. On peut avoir une conversation qui commence dans des bonnes conditions, et ensuite au bout de huit à 10 minutes elle devient chaotique, les interlocuteurs n’arrivent pas à se comprendre. Quand les interruptions deviennent trop nombreuses, elle est souvent abandonnée en laissant un goût amer.
 
Nous nous sommes mis en situation dans laquelle le réseau au niveau de sa qualité n’est pas tranché. C’est pour cela qu’on parle de qualité moyenne, et nous avons essayé trois outils.

Environnement et protocole de test

Objectif du test

Vérifier l’ergonomie, les différents facteurs qui vont faire que l’on va se connecter rapidement, et la qualité de la conversation entre deux individus pour la transmission d’un message parlé.
 

Un réseau de qualité moyenne

Ce texte a été établi à Antananarivo, un jour de février 2020, entre deux ordinateurs connectés avec un ADSL, tous deux connectés à l’aide d’un routeur wi-fi. Au long de ce test, le temps de réponse n’a été que rarement en dessous de 50 ms, ou au-dessus de 150 ms. C’est pour cela que l’on qualifie la qualité de ce réseau de moyenne.
 

Protocole du test

Le test a consisté à lire alternativement de part et d’autre, quatre séries de strophes d’un poème. A l’issue de chaque lecture de strophe, la personne qui écoute signale s’il y a eu des pertes de messages, des mots incompréhensibles, ou des effets de son déformés.
 

 
 
Pendant chaque test, le temps de connexion réseau est vérifié en permanence par la commande Ping.
Les incidents et les imprévus sont consignés dans un rapport.
 

Limite du test

Le test n’a pas été conduit dans un environnement contrôlé. Pour avoir un résultat vraiment fiable, il faudrait se placer en direct sur un lien Internet chez un opérateur ou dans un data Center.

Critères d’appréciation

Ergonomie

L’ergonomie, nous permet d’avoir des systèmes qui sont simples à utiliser. Souvent, au démarrage d’une conversation, on va avoir une des personnes qui n’entend pas l’autre. Rapidement, les deux personnes doivent vérifier le paramétrage des haut-parleurs, des micros, le paramètre de la caméra, tout cela doit pouvoir se retrouver simplement.
 
D’autre part, il est pratique d’avoir des petites fenêtres qui s’agencent simplement, à l’intérieur du bureau sachant que les deux intervenants vont souvent échanger non seulement, leurs conversations, leurs images animées mais surtout les vues sur un des documents de travail.
 

 
Illustration : petite fenêtre de caméra sur le bureau.
 

Temps de connexion

Le temps de connexion est très important, surtout quand les échanges ne soient pas trop longs. Si on a été obligé de mettre une dizaine de minutes pour pouvoir s’entendre et que la conversation dure une quinzaine de minutes, le rendement n’est pas très bon.
 

 

Présence de la caméra ou non

Les trois outils testés sont des outils qui gèrent un double flux ; à savoir un flux de conversation et un flux d’images. Pour vérifier si le flux d’images ne perturbe pas la conversation nous avons doublé chaque séquence de test en faisant le test une fois sans le partage de la caméra ou du bureau et une fois avec le partage de la caméra et du bureau.
 

Qualité de la conversation

La qualité de conversation est appréciée par défaut. Si tout le monde s’est compris, si personne n’a été obligé de se répéter ; s’il n’y a pas eu d’incident pour ainsi dire, on va considérer que la conversation est bonne.
D’un côté, un interlocuteur lis le texte, de l’autre côté, l’interlocuteur écoute le texte. Si un mot échappe à l’oreille de la personne qui écoute, ou si la voix est déformée, l’incident est signalé.
 

On constate trois défauts :

Un morceau de phrase qui n’est pas transmis ; on parle alors d’interruption de conversation.
Des échos créés par le système ; on appelle cela une période d’écho.
 
Enfin il y a des périodes pendant lesquelles la voix de l’interlocuteur est déformée ; elle n’est plus timbrée, comme écrasée, comme le « ouin ouin » ; on appelle cela les périodes canard.

Critères d’analyse d’environnement réseau.

L’environnement réseau est testé pendant tout le temps de chaque séquence de test, On rapporte sur la durée du test, le temps moyen de Ping, le nombre de paquets perdus.

Conduite du test et analyse des résultats

Google meet

 
On a dû s’y reprendre à trois fois avant d’établir une conversation. Quand nous avons activé les caméras, entre les deux séquences de test, notre séance de Visio a tout simplement crashée, ce qui nous a demandé de repartir à zéro pour établir la communication à nouveau.
 
L’expérience de connexion n’est pas tout à fait bonne. D’autre part, avec son implémentation en client léger, c’est-à-dire à l’intérieur d’un navigateur, on est rapidement perdu.
 
Pour ce qui est de la qualité de la conversation, nous nous reporterons à l’analyse des résultats.
 

Skype

 
L’établissement de la communication, est très rapide, c’est vraiment un enchantement, C’est pour dire que l’ergonomie est très bien travaillé, et on n’est jamais perdu, on part donc avec un bon point à priori.
La qualité de la conversation a été, à peu près, du même niveau que celle de Google.
 

Zoom

 
Nous avons été obligés de nous y prendre quatre fois avant de pouvoir lancer la conférence.
Nous avons donc dépassé tous les temps de connexion relevés sur les autres outils. Une fois que la connexion a été établie, cela a été relativement simple et fluide, avec un niveau d’ergonomie appréciable et une qualité qui dépasse celle de ses concurrents.
 

 
On voit dans cette copie d’écran que ma main, avec des tas de fenêtre, on arrive à voir la petite fenêtre sur impression de l’interlocuteur.
 

 

Analyse des résultats

Tableau détaillé des résultats de test de comparaison de trois outils de webconférence
 

		Qualité conversation				Qualité réseau
		Temps de connexion (s)	Nbr de coupures conversation	Nbr de période d’échos	Nbr de période canard	Nbre de pertes de packets	Temps moyen de réponse ping (ms)	Temps exercice (s)
meet.google.com	son uniquement	92	8	0	3	103	107	549
	double flux	180	2	0	2	20	86	200
skype	son uniquement	39	4	5	0	3	71	305
	double flux	2	2	4	0	7	145	317
zoom	son uniquement	358	0	0	1	1	60	197
	double flux	2	0	0	1	0	66	195

 
Premier point : le fait d’activer la caméra ou de partager l’affichage n’a pas d’incidence sur la qualité de la conversation.
Ce qu’il y a vraiment de l’incidence, c’est le nombre de pertes de paquets, et dans une moindre mesure, le temps de réponse moyen.
 
Deuxième point : il est très important, en terme d’ergonomie, de disposer d’un outil qui est implémenté par un client lourd, c’est-à-dire avec son propre jeu de fenêtres : les deux outils Skype et zoom sont vraiment plus fluides et agréables à utiliser parce qu’ils ont choisi ce type d’implantation.
 
Troisième point : il semble que zoom sorte un peu du lot en terme de qualité de conversation. Cet avantage reste à apprécier parce qu’il semble que zoom ne démarre que quand le niveau de qualité du réseau est suffisant ; cela peut retarder, de façon assez significative, le temps d’établissement de la connexion.
 
Voici, le tableau récapitulatif des appréciations associées à ce test comparatif
 

Niveau de qualité (1à5 étoiles)	Ergonomie, facilité de prise en main	Temps de connexion/liaison	Qualité de la communication
meet.google.com	*	**	**
skype	*****	*****	**
zoom	*****	*	****

 

En conclusion

Il semble que les deux gagnants ex aequo, sont Skype et Zoom. Skype se distinguant pour son côté tout-terrain et sa facilité de connexion. Zoom se distinguant par la qualité de la conversation, une fois que cette dernière est établie.
 

 
Donc, notre conseil serait le suivant ; si vous avez une conversation qui risque de durer longtemps, essayez donc zoom.
 
Si vous avez juste une petite conversation rapide qui peut être complétée, en cas de déficience de la communication parlée, avec des séquences de chat, alors, optez pour Skype.