Basura entra, basura sale fue pronunciado por primera vez por un empleado de IBM en 1965 y este término de la informática es tan válido hoy como lo fue hace casi 55 años. De hecho, estamos nadando en más datos hoy que nunca, creados por nuevas aplicaciones de software y dispositivos IOT que agregan ruido a los datos cada segundo. Con todos estos datos, surge la necesidad de garantizar que los datos se limpien, resuman o preparen para un análisis o acción adicional.
Muchas aplicaciones de software carecen de capacidades de validación de datos o no se configuraron cuando los sistemas entraron en funcionamiento por primera vez. Como resultado, los registros de datos a menudo se duplican con múltiples entradas para el mismo (cliente, proveedor, producto, queja, ticket, etc., etc., etc.). Creo que todos hemos experimentado este fenómeno y es probable que haya duplicados en casi todos nuestros sistemas, lo que crea estragos cuando intentamos agrupar datos para su análisis o asociar diferentes elementos de datos.
No tiene por qué seguir así. Los conjuntos de reglas dentro de Decisions se pueden utilizar para limpiar datos operativos y de informes. Normalmente, se pueden emplear tres métodos para limpiar y mantener datos tanto para sistemas operativos como de informes. En cada ejemplo a continuación, un conjunto de datos se puede ejecutar a través de un conjunto de reglas de validación de datos que operan en diferentes campos o atributos dentro de un único conjunto de datos.
Método 1 - Validar al ingresar: Este es siempre el caso ideal, aunque algunas aplicaciones de software no tienen la capacidad de utilizar servicios externos para incorporar este método. Si la aplicación lo admite, los datos se pueden pasar al motor de reglas para su procesamiento antes de que se guarden en la base de datos de la aplicación.
Método 2 - Limpiar y reemplazar: Utilizando este método, se pueden ejecutar trabajos nocturnos que obtienen datos recién ingresados de su sistema operativo (CRM, ERP...) y los procesan a través de un conjunto de reglas dentro de Decisions. Estas reglas pueden comparar estos datos con reglas generadas previamente que validan direcciones, nombres de empresas y cualquier otro dato comúnmente duplicado o mal escrito. Estos datos se pueden estandarizar a una ortografía común. Una vez limpios, los datos se pueden reemplazar, eliminar o reparar en el sistema operativo.
Método 3 - Limpiar para informes: En este método, los datos operativos se ejecutan a través del conjunto de reglas y se limpian antes de que los datos se agreguen a un almacén de datos o lago de datos. En este caso, los datos se dejan como están en el sistema operativo, pero se limpian para su ingreso al almacén de datos. Si el almacén de datos es donde las personas de negocios buscan tomar decisiones operativas, esto puede estar perfectamente bien.
