Descubra POTATO: una herramienta de anotación web gratuita y fácil de usar

Siempre ha sido difícil iniciar un esfuerzo de anotación. Un equipo de investigadores presenta la Herramienta de anotación de texto portátil (Potato), una aplicación basada en la web aprobada para su uso en la pista DEMO EMNLP 2022. El centro del proyecto de Potato está diseñado para facilitar la replicación de los esfuerzos de anotación existentes.

Potato facilita la creación rápida de prototipos y la implementación de múltiples tareas de anotación de texto. Este trabajo tiene como objetivo permitir que individuos o pequeños grupos anoten datos textuales con un mínimo esfuerzo, comenzando desde cero y finalizando la anotación con solo unas pocas líneas de configuración. Los anotadores usan un front-end web para trabajar con datos, mientras que el back-end de Potato funciona como un servidor web que se puede iniciar localmente.

Un único archivo de configuración determina las tareas y los tipos de datos utilizados por Potato. Para comenzar con Potato, los usuarios no necesitan saber codificar. Potato es adaptable, lo que permite a los usuarios cambiar la interfaz de usuario y los elementos con los que interactúan sus anotadores sin necesidad de un diseño web adicional. Los usuarios pueden tomar rápidamente un proyecto con papa y luego abrir el sitio de marcado.

La variedad de ayudas de anotación que admite Potato es impresionante.

1. Fácil de configurar y adaptable a diversos requisitos: Cambiar la configuración de Potato es tan fácil como editar un archivo. La creación de un sitio web de anotaciones no implica codificación. Al igual que otras características, Potato ofrece una amplia gama de opciones de personalización.

• Estructuras predefinidas y valores predeterminados: los esquemas de anotación como radio, likert, casilla de verificación, cuadro de texto, extensión, comparación por pares, escala de mejor a peor, imagen/video como etiqueta, etc., son compatibles con Potato.
• Múltiples formatos de datos: Potato puede mostrar cualquier cosa, desde documentos cortos hasta documentos largos, incluidas conversaciones, comparaciones y más.
• Los investigadores de procesamiento de lenguaje natural (NLP) pueden necesitar realizar una serie de tareas relacionadas pero distintas (por ejemplo, anotación multilingüe). Potato se ha encargado de la tarea de análisis de privacidad multilingüe de Twitter, que permite crear archivos de configuración para todas las tareas con un esfuerzo mínimo.

2. Aumente la eficiencia de las anotaciones: Para mejorar la experiencia de los anotadores y entregar anotaciones más rápido, Potato se ha diseñado cuidadosamente con varias funciones.

• Los atajos de teclado son fáciles de configurar: los teclados permiten a los anotadores ingresar sus respuestas rápida y fácilmente.
• Es posible resaltar de manera inteligente la posible relación entre etiquetas y palabras clave en el documento con resaltado dinámico, que se puede configurar para tareas con muchas etiquetas o documentos extremadamente largos.
• Con muchas etiquetas, puede ser difícil para los anotadores seguir sus definiciones sin la ayuda de la información sobre herramientas. Con la información sobre herramientas personalizable de Potato, los anotadores pueden obtener más información sobre las etiquetas al pasar el mouse sobre ellas.

3. Mejorar el conocimiento de los anotadores: Potato proporciona herramientas que se pueden usar para aprender sobre los anotadores que trabajaron con los datos de los usuarios y detectar posibles sesgos. La interfaz fácil de usar de Potato simplifica la creación de cuestionarios de preselección y postselección, lo que podría arrojar algo de luz sobre los antecedentes profesionales de los anotadores de los usuarios. Potato incluye un conjunto de plantillas de preguntas que facilitan la configuración de solicitudes de calificación estándar, como datos demográficos.

4. Garantía de calidad mejorada: Potato incluye herramientas para identificar a los spammers y recopilar comentarios más confiables.

• La función Prueba de atención de Potato facilita la creación de preguntas diseñadas para detectar spammers e insertarlas aleatoriamente en la cola de anotaciones.
• Antes del etiquetado completo de datos, los usuarios pueden identificar rápida y fácilmente a los anotadores no calificados mediante la prueba de calificación integrada de Potato.
• Con la verificación de tiempo integrada de Potato, puede monitorear fácilmente el tiempo que los anotadores dedican a cada instancia y obtener información sobre sus hábitos de trabajo.

Dado que Potato está alojado en pypi, los usuarios pueden simplemente ejecutar «pip install potato-anotation» para configurarlo y ejecutarlo. Potato se puede implementar fácilmente en línea para recopilar anotaciones de plataformas populares de crowdsourcing como Prolifc.com. Los usuarios necesitarán un servidor con puertos accesibles para usar Potato en un entorno de crowdsourcing. Potato funciona muy bien con Prolific, una plataforma para encontrar y reclutar participantes de tareas.

Controlar GitHub Y Documentación. Todo el crédito por esta investigación es para los investigadores de este proyecto. Tampoco olvides registrarte. nuestro subreddit de 16k+ ML, Canal de discordiaY Correo electrónicodonde compartimos las últimas noticias de investigación de IA, proyectos interesantes de IA y más.