Microsoft Teams ahora usa IA para mejorar el eco, los abandonos y la acústica

Microsoft ha pasado los últimos dos años agregando nuevas y llamativas funciones de productividad a Teams, y ahora la compañía está revisando cómo funcionan los fundamentos con AI. Todos hemos tenido una llamada en la que alguien tenía una mala acústica en la habitación, lo que dificultaba escucharlos, o vimos a dos personas tratando de hablar al mismo tiempo, creando un momento incómodo de «no, vas a» antes «. Las nuevas mejoras de calidad de voz impulsadas por IA de Microsoft deberían mejorar, si no eliminar, estas molestias cotidianas.

Microsoft ahora está utilizando modelos de aprendizaje automático para mejorar la acústica de la habitación para que ya no sienta que se está escondiendo en una cueva. «Si bien hemos hecho todo lo posible con el procesamiento de señales digitales para hacer un trabajo realmente bueno en Teams, ahora comenzamos a usar el aprendizaje automático por primera vez para crear la cancelación de eco donde realmente puede reducir el eco de todos los diferentes dispositivos». dijo Robert Aichner, gerente senior de programas para chat inteligente y nube de comunicación en Microsoft, en una entrevista con El borde.

Microsoft ha estado probando esto durante meses, midiendo sus modelos del mundo real para asegurarse de que los usuarios de Teams noten la reducción del eco y la calidad mejorada de las llamadas. El fabricante de software ha utilizado 30 000 horas de voz para ayudar a entrenar sus modelos y ha capturado miles de dispositivos a través de crowdsourcing donde a los usuarios de Teams se les paga para grabar su voz y reproducir audio desde su dispositivo.

«También simulamos unas 100.000 habitaciones diferentes… la acústica de la habitación juega un papel importante en la cancelación del eco», dice Aichner. El resultado es una gran mejora en la calidad del audio de las llamadas y la cancelación del eco que también permite que varias personas hablen al mismo tiempo. Puede ver todas las mejoras en acción en el video de arriba.

Si Teams detecta que el sonido está rebotando o resonando en una habitación, lo que resulta en un sonido superficial, el modelo también convertirá el audio capturado y lo procesará para que suene como si los participantes de Teams estuvieran hablando por un micrófono de corto alcance en lugar de un desorden de eco. .

La parte más impresionante es la capacidad de las personas para abandonar las llamadas de Teams ahora, sin la molesta superposición en la que no puede escuchar a la otra persona debido al eco. Microsoft ahora está enviando todo este trabajo a Teams, junto con mejoras anteriores en la cancelación de ruido basada en IA. Todo el procesamiento se realiza localmente en los dispositivos del cliente, en lugar de la nube.

«Dijimos que queríamos hacerlo en el cliente, porque la nube sigue siendo costosa si desea que todas las llamadas se manejen en la nube… y obviamente tendríamos que pasar ese costo al cliente», dice Aichner. Eso significaría potencialmente restringir estas importantes mejoras de Teams a los clientes que pagan, y la ruta en el dispositivo significa que funciones como la cancelación de ruido están disponibles en el 90% de los dispositivos que usan Teams.

Todas estas nuevas mejoras de Microsoft Teams ahora están disponibles, junto con algunas optimizaciones de pantalla en tiempo real para texto en videos y mejoras impulsadas por IA para restricciones de ancho de banda cuando se realizan videollamadas o se comparten aplicaciones.