Integracion y Transformacion

Integración de datos

La integración de los datos se realizan para eliminar las redundancias que pueden ser detectadas por un análisis correlacional. Por ejemplo, la correlación entre dos atributos se puede medir de la siguiente manera: P(A^B)/P(A)P(B) Si el resultado es mayor a 1, hay correlación entre los datos positivamente y uno de los dos puede ser eliminado como redundancia. Si el resultado es igual a 1 no existe correlación entre los datos. Si el resultado es menor a 1, hay correlación entre los datos negativamente.

Si se realiza la integración de datos con cuidado se puede evitar la inconsistencia y la redundancia entre los datos, además de mejorar la calidad de la información obtenida a partir de esos datos.

Transformación de datos

Normalización

–  Normalización Min-Max: ejecuta una transformación lineal de los datos originales, con base en los valores mínimos y máximos de un atributo, se calcula un valor de normalización v’ con base en el valor v. Este método conserva las relaciones entre los datos originales.

– Normalización z-core: los valores para un atributo A son normalizados basados en la media y la desviación estandar de A. Este método se utiliza cuando el máximo y el mínimo son desconocidos o cuando hay valores anómalos que predominan al usar la normalización min-max.

– Normalización de escala decimal: normaliza moviendo los puntos decimales de los valores del atributo A.

Hay que considerar que la normalización cambia un poco los datos con los que se cuenta al principio. Además es interesante guardar los parámetros como media o desviación estándar para uso futuro.

Suavizado

Algunas técnicas de suavizado son clustering, binning y regresión.

Agregación

Se utiliza generalmente en los cubos de datos para el análisis de datos en diferentes granularidad