Découvrez la nouvelle fonctionnalité de Google pour faire des requêtes avec vidéo et voix.

Cette application a connu une croissance récente en raison de la facilité qu'elle offre aux utilisateurs pour trouver des informations détaillées sur des objets, des monuments, des textes et plus encore, simplement en capturant une image. L'intégration de l'intelligence artificielle a permis à Lens d'interpréter et d'analyser les photos de manière efficace, fournissant des données pertinentes en quelques secondes.

La nouvelle fonctionnalité, annoncée et déployée récemment, permet aux utilisateurs d'enregistrer des vidéos et d'ajouter un contexte vocal à leurs recherches. Auparavant, Google Lens ne permettait de faire des recherches que par le biais de photographies, que ce soit capturées sur le moment ou depuis la galerie de l'appareil.

Maintenant, les utilisateurs peuvent maintenir le bouton de recherche enfoncé pour enregistrer une vidéo et parler, expliquant ce qu'ils souhaitent savoir.

Cette fonctionnalité s'active en maintenant enfoncé l'icône de recherche en forme de loupe dans Google Lens. Une fois activée, l'utilisateur est informé qu'il doit parler “pour poser une question sur cette image”. Par exemple, en enregistrant un plat avec plusieurs myrtilles et en demandant à haute voix combien de ces fruits se trouvent devant la caméra, l'IA analyse à la fois l'image et l'audio pour fournir une réponse précise.

L'intégration de l'intelligence artificielle se fait via Gemini. Le modèle de langage étudie l'image et analyse l'audio fourni, utilisant des techniques avancées de traitement du langage naturel et de vision par ordinateur. Cela signifie qu'il peut interpréter le contexte de la requête de manière plus complète, fournissant des réponses qui tiennent compte de ce qui est vu et de ce qui est entendu.

Cette capacité est particulièrement utile dans des situations où une image seule ne fournit pas suffisamment de contexte. Par exemple, si un électroménager tombe en panne, un utilisateur peut enregistrer une vidéo de l'appareil et expliquer verbalement le problème. L'IA peut ensuite fournir des suggestions pour résoudre le problème, des guides de réparation, ou même des liens vers des produits de remplacement si la réparation est trop coûteuse.

Google a commencé à déployer cette nouvelle fonctionnalité à l'échelle mondiale sur les appareils Android. Selon Mishaal Rahman, un analyste et expert, la fonctionnalité est déjà disponible sur tous les téléphones avec ce système d'exploitation. Mais pour s'assurer d'avoir accès à cette fonction, les utilisateurs doivent mettre à jour l'application Google Lens vers sa version la plus récente.

La mise en œuvre de cette fonctionnalité se fait par le biais d'une mise à jour du serveur, ce qui signifie que les utilisateurs n'ont pas besoin de télécharger une mise à jour spécifique depuis le Play Store. Cependant, il est recommandé de garder les applications à jour pour garantir que cette fonctionnalité et d'autres améliorations futures soient reçues.

En plus de la capacité de recherche par vidéo et voix, Google a introduit plusieurs améliorations récentes dans Google Lens. L'une des plus remarquables est la vue en grille, qui permet aux utilisateurs de suivre facilement leur historique de recherches d'images. La fonctionnalité Circle to Search est également en cours de développement et promet de rendre les recherches encore plus intuitives.

Les possibilités d'utilisation de cette nouvelle fonctionnalité sont pratiquement illimitées. Les utilisateurs peuvent utiliser la fonction de vidéo et voix pour obtenir des informations plus détaillées et pertinentes dans une variété de contextes. Quelques exemples incluent :

• Pannes d'électroménagers : enregistrer une vidéo d'un appareil défectueux et expliquer le problème pour obtenir des guides de réparation ou des suggestions de produits de remplacement.
• Recettes de cuisine : enregistrer les ingrédients d'une recette et demander des précisions sur sa préparation pour recevoir des instructions détaillées.
• Artisanat et projets DIY : expliquer un projet tout en enregistrant une vidéo des matériaux et outils nécessaires pour obtenir des guides pas à pas.
• Informations sur des monuments et des lieux : enregistrer une vidéo d'un lieu historique et demander son histoire et des détails pertinents.