La aplicación Merlin de Cornell puede identificar aves por vista y sonido

El año pasado, cuando las restricciones de bloqueo pandémicas afectaron a los Estados Unidos, nuevos observadores de aves acudieron en masa a la aplicación gratuita Merlin Bird ID. La aplicación, que provino del Laboratorio de Ornitología de Cornell, anteriormente proporcionaba a los usuarios formas de identificar un ave misteriosa cercana a través de descripciones o fotografías. A principios de este verano, obtuvo una característica aún mejor: la capacidad de identificar un pájaro en función de un breve clip de audio de su canción, pitido o llamada.

Desde marzo de 2020, el equipo de Merlin vio un aumento en el número de descargas de aplicaciones, una tendencia que continuó. “Obtuvimos más descargas, pero la cantidad de usuarios activos ha seguido creciendo”, dice Drew Weber, coordinador del proyecto de Merlin. Esta primavera, Merlín tenía 1,2 millones de personas (y más). “La gente lo está descargando, se está metiendo en las aves y sigue siendo aves este año, a pesar de que la realidad de los bloqueos y cosas por el estilo está cambiando”, dice. “Parece que despertó su interés y los mantuvo interesados”.

Esto sucede en un momento en que las noticias sobre aves están volando, especialmente en Nueva York, donde eliges aves raras han alcanzado la fama de culto. Obstruido y Nevado búhos adornan los lados New York Times, y el pato mandarín estaba escrito en Revista de Nueva York en 2018 como si fuera el próximo influencer emplumado a conocer.

Sound ID, que debutó en Merlin en junio, ya ha recibido respuestas positivas de la comunidad de aves. La nueva función de reconocimiento de voz ahora está relacionada con una herramienta de identificación con foto basada en el aprendizaje automático que estuvo disponible para los usuarios alrededor de 2015.

“Creo que antes de que se lanzara nuestra etiqueta de voz, nuestro mayor comentario fue” ¡Pensé que podías identificar pájaros con voz con esta aplicación! “o” ¿dónde está el pájaro shazam? “, por lo que es realmente genial que se haya entregado a los humanos”, dice Weber.

Hay algunas otras opciones para identificar aves por voz, incluidas Bird Genie, Song Sleuth e Smart Bird ID. Muchos utilizan algoritmos basados ​​en el aprendizaje automático, pero la precisión de los resultados puede variar debido a variaciones individuales en el ruido de fondo y las solicitudes de las aves.

Merlin ya es un programa de guía de aves establecido. Proporciona un proceso de tránsito para el reconocimiento de la visión regular, que es útil para los observadores de aves principiantes, además de sus herramientas más avanzadas.

Así es como funciona la etiqueta de voz Merlin

A través de Merlin, los cuidadores de aves pueden encender el micrófono del teléfono y dejar que escuche a los que están alrededor. La aplicación luego anuncia sugerencias para pájaros cantando o jugando. El sonido recuperado por la aplicación también se convierte en una imagen visual llamada espectrograma, que registra la amplitud, frecuencia y duración del sonido.

“Tan pronto como tenga una imagen de un pájaro real en un árbol o una grabación de audio en forma de espectrograma, puede usar herramientas robustas de visión por computadora para comenzar a construir un modelo para identificar estos patrones”, dice Grant Van Horn, director investigador del Proyecto Merlin.

Además de la etiqueta de voz, otras formas de usar la aplicación para identificar un pájaro incluyen ingresar manualmente sus características físicas y cargar una foto.

Gran ciencia conocida por el público

Los sistemas de inteligencia artificial necesitan datos y, por supuesto, los datos primero deben existir.

En este caso, el proyecto tomó en serio la educación cívica. La función de identidad fotográfica y la nueva opción de etiqueta de voz no podrían haberse creado sin el laboratorio de ornitología. Base de datos de la biblioteca Macaulay, que contiene casi 30 millones de imágenes de aves archivadas y comentadas y más de 1,1 millones de puntos de voz enviados por la comunidad de aves.

Luego, el equipo se puso a trabajar, convirtiendo los medios en herramientas útiles. Comenzaron a construir el componente de identificación con foto de Merlin en 2012, al mismo tiempo que se avanzaba en la visión por computadora. “Sabíamos que si reuníamos los datos, podríamos usar estas herramientas para crear una función bastante útil que permitiría a alguien hacer clic en una foto y obtener una computadora para decirle lo que había en la foto”, dice Van Horn. Para 2015, el laboratorio pudo permitir que los investigadores ciudadanos cargaran fotos y audio en una colección en crecimiento. Con la introducción de la identificación con foto en la aplicación, se ha mejorado continuamente al agregar más muestras de fotos y expandir la cobertura de especies en nuevas regiones de América del Sur, África, Asia y Europa. “El aprendizaje automático solo funciona bien si tiene esta buena base de conocimientos sobre la cual construir”, explica Van Horn.

La fuente de los clips de audio y las fotografías que se han transferido a la Biblioteca Macaulay es de otro programa llamado por el laboratorio. eBird, lanzado en 2002. eBird permite a los investigadores ciudadanos y las organizaciones locales de todo el mundo iniciar sesión y compartir avistamientos de aves, incluso con investigadores que estudian y trazan las poblaciones de aves.

“Debido a que hemos estado recopilando esta información durante tanto tiempo, tenemos una muy buena sensación si estás en Nueva York el 19 de julio, qué especies es probable que encuentres”, dice Van Horn. “Esta información realmente nos ayuda con el reconocimiento de voz y la identificación con foto, porque nos permite tomar inmediatamente el problema de la etiqueta de voz de 450 especies, la identificación con foto de 8.000 especies, y nos ayuda a reducirlo a 40 especies que realmente están bajo consideración aquí”.

El progreso del componente de reconocimiento de voz fue más lento que el de la identificación de imagen, “solo porque la rutina de hacer y grabar cantos de pájaros no es tan popular como visitar y fotografiar”, dice Van Horn. “Pero ciertamente durante los últimos tres años, América del Norte ha estado bastante densamente cubierta de grabaciones de sonido”.

Por esta época el año pasado, el equipo decidió que tenía suficientes datos de audio para poder construir y lanzar una función de reconocimiento de voz para especies populares en los Estados Unidos y Canadá. Comenzaron a peinar toda la información y a elegir especies.

Sin embargo, el problema del ruido de fondo sigue siendo un desafío para el equipo de diseño. Para resolver este problema, recurrieron a los datos de audio existentes. Esta información de sonido puede ser situaciones de tráfico, entornos urbanos y sonidos de máquinas; en otras palabras, sonidos normales que no son pájaros. “Convertiríamos esos sonidos en espectrogramas y los usaríamos como ejemplos negativos” esto no es un pájaro; siempre que vea esto, no debe informar sobre la especie de ave ”, agrega Van Horn. “Es un equilibrio en la creación de un conjunto de aves de alta calidad, así como en la creación de un sólido cuerpo de información sobre infecciones no aviarias que podemos mostrar a la máquina y enseñarle cómo no suenan las aves”.

[Related: How to start birding in any US city]

Luego vino más trabajo. Debido a que el éxito del proyecto dependía de la alta calidad del conjunto de datos, esto significó que Weber y Van Horn tuvieron que organizar y reclutar miembros con mucha experiencia en la comunidad de aves para ayudarlos a revisar la base de datos de archivos de audio sin procesar y marque las especies que estaban en las grabaciones.

“Para crear nuestro conjunto de datos de lanzamiento original, creo que usamos alrededor de 2000 horas de anotaciones, dibujando dónde cantaba el pájaro, dónde cantan los diferentes pájaros”, dice Weber. “Fue principalmente trabajo voluntario de muchas de las mismas personas que escribieron esta información y hallazgos de eBird”.

Cuando la aplicación se lanzó por primera vez en 2014, solo tenía las aves más comunes en los Estados Unidos y Canadá. En 2016, se lanzaron las primeras etiquetas internacionales, comenzando en México, Costa Rica y expandiéndolas a Europa, Australia, Nueva Zelanda, África y partes de Asia. “Aún vemos que alrededor del 75 por ciento de nuestros usuarios nuevos y activos se encuentran en los EE. UU. Y Canadá”, dice Weber, pero se está registrando un número creciente de nuevas especies en todo el mundo.

A medida que los usuarios continúen enviando observaciones a la base de datos de eBird, los nuevos hallazgos se incorporarán a Merlin y a la comprensión del equipo de investigación sobre qué especies ocurren, cuándo y dónde. “Actualizamos constantemente las fotos y los sonidos que tiene la aplicación para cada deporte para que podamos mejorar continuamente el contenido que mostramos con Merlin”, agrega Weber.

[Related: See how birds change their tunes to fit their surroundings]

Weber señala que algunos de los comentarios más sorprendentes que han recibido provienen de usuarios con problemas de audición. “Están muy entusiasmados con la vista en vivo y el espectrograma que puede visualizar el canto de los pájaros”, dice. “¿Hay alguien siempre [been] personas con problemas de audición o alguien que envejece y pierde los tonos altos, muchas personas están realmente emocionados de poder recuperar algo de esa pérdida de audición de alguna manera. ”

El equipo continúa trabajando para perfeccionar la aplicación e integrar los comentarios de los usuarios. Trabajando con comunidades y organizaciones regionales, Van Horn cree que puede construir una amplia gama de herramientas útiles para ayudar a las personas a obtener más una experiencia inmersiva al aire libre, especialmente con aves autóctonas. “Esta es una historia de éxito para personas y máquinas”, dice Van Horn. “La gente está jugando una gran pieza de este rompecabezas”.