¿Cómo gestiona grandes volúmenes de datos en su organización? Analizarlos manualmente no es realmente eficiente y no siempre es fácil captar los hechos más importantes y descubrir la información. El análisis de clústeres puede ayudarle a reducir la entrada manual y revelar valores ocultos en sus datos. El análisis de clústeres es parte de una amplia gama de tecnologías de aprendizaje automático que ayudan a descubrir estructuras ocultas que se encuentran en grandes conjuntos de datos y agrupar elementos de datos con características similares. En este artículo, explicamos cómo funciona la agrupación y le proporcionamos algunos casos de uso.
Comencemos con el concepto básico
No es necesario etiquetar una manzana como manzana para ver que es diferente de una naranja. Con la agrupación, intentamos reconocer grupos de objetos similares sin que un humano etiquete esos objetos. Esto tiene muchas ventajas y también plantea algunas preguntas interesantes. Por ejemplo, vemos que una manzana y una naranja son diferentes. Sin embargo, si los comparamos con una patata, podríamos concluir que una manzana y una naranja son bastante similares porque ambas son frutas. La necesidad de agrupamiento proviene del tamaño de los conjuntos de datos que están disponibles. Si quiero comparar diez tipos de frutas, puedo compararlas todas con relativa facilidad. Sin embargo, si quiero analizar un conjunto de datos del tamaño de Wikipedia, tendré que hacer comparaciones de 31 billones. Incluso si una sola comparación toma sólo 1 microsegundo, aún así tomará casi 12 días ejecutar las comparaciones. Por lo tanto, es útil dividir estas configuraciones en fragmentos más pequeños que sean más fáciles de procesar. Podemos utilizar la agrupación en clústeres para dividir el conjunto de datos de una manera sensata sin necesidad de una mirada humana. Un enfoque poderoso para la agrupación es ordenar los datos en grupos generales y luego, dentro de estos grupos, crear grupos más pequeños y específicos. Esto permite al Machine Learner extraer tanto una descripción general como una estructura más detallada de los datos. Se trata de agrupación jerárquica y es una herramienta poderosa para obtener información sobre grandes conjuntos de datos.
Tipos de agrupamiento
Los diferentes tipos de datos tienen diferentes tipos de algoritmos de agrupamiento que funcionan mejor. Algunos datos contienen subgrupos naturales. Otros datos pueden tener una distribución normal, por lo que un algoritmo que facilite esto funciona mejor. Para big data, también es importante tener en cuenta que algunos algoritmos funcionan de manera más eficiente para ciertas distribuciones de datos. Si desea agrupar a los gatos por la longitud de su cola, entonces un algoritmo diseñado para datos continuos funciona mejor, ya que la longitud puede ser cualquier valor dentro de un rango determinado. Si quieres agrupar estrellas, un algoritmo diferente podría funcionar mejor. El texto tiene sus propios giros cuando se trata de agrupar. Hay millones de palabras clave diferentes (cada nombre propio puede considerarse una palabra clave), pero cada documento solo contiene algunas de ellas. Por tanto, no es sencillo encontrar dos documentos que incluso tengan cierta similitud. Esto plantea algunos desafíos a la hora de diseñar un Machine Learner eficiente. Hay dos enfoques para abordar este problema. Podemos utilizar nuestro conocimiento de lingüística para comprender mejor el conjunto de datos o podemos crear un algoritmo que tenga una baja complejidad computacional para agrupar documentos específicamente de texto.
