El reconocimiento de entidades nombradas (NER) es el proceso de identificar grupos específicos de palabras que comparten características semánticas comunes. Consideremos, por ejemplo, los nombres de las organizaciones. Pueden mostrar diferencias superficiales en su apariencia, pero todos transmiten el mismo tipo de información. También suelen aparecer en contextos comparables. Lo mismo ocurre con los nombres de personas, ubicaciones o expresiones del tiempo. Encontrar este tipo de información ayuda a mejorar los resultados de búsqueda y la clasificación de documentos. También es la piedra angular de otras técnicas de procesamiento del lenguaje natural (PNL), como la desambiguación de entidades nombradas, que es la tarea de vincular diferentes apariciones a la misma entidad. Por ejemplo, "Sr. Page", "L. Page" o "Page, Larry" apuntarían todos a la misma entidad canónica, "Larry Page". La NER a veces se considera un problema resuelto. Como mínimo, podemos decir que, efectivamente, los sistemas bien entrenados alcanzan puntuaciones extremadamente altas, casi comparables al rendimiento humano. Las técnicas evolucionaron desde sistemas basados en reglas hasta modelos estadísticos como CRF o Máxima Entropía a Redes Neuronales, cerrando consistentemente la brecha con la eficiencia humana. ¿Por qué molestarse entonces en escribir una entrada de blog al respecto?
NER se ha convertido más en un problema de datos que en un problema de algoritmo
El entrenamiento de un motor NER requiere apropiarse y anotado datos. Apropiarse se refiere al dominio de los documentos. Los bufetes de abogados producen documentos diferentes a los de los bufetes médicos y estos también son diferentes de los artículos periodísticos. El corpus de formación debe coincidir con el tipo de documento que desea analizar. Anotado se refiere al hecho de que las entidades nombradas deben identificarse en el conjunto de entrenamiento y estas anotaciones deben ser confiables para producir un motor de buen rendimiento. Producir conjuntos de entrenamiento es la parte costosa de crear un motor NER. Implica una cantidad considerable de trabajo humano. Siempre debemos tener en cuenta que muchas técnicas de aprendizaje automático se basan en última instancia en datos compuestos por humanos, ya sea reconocimiento de imágenes, traducción automática o, por supuesto, NER. El mundo académico produce este tipo de conjuntos de formación para campañas de evaluación, pero no siempre son relevantes para su dominio o idioma. Estos conjuntos de datos suelen reutilizarse durante varios años mientras los algoritmos se vuelven más eficientes. Por lo tanto, nos enfrentamos a un problema de datos más que a un problema de algoritmos. Los algoritmos evolucionarán y mejorarán con el tiempo, pero siempre dependerán de material de capacitación de alta calidad que es difícil y costoso de producir.
