Los ingenieros de datos son los arquitectos de una infraestructura de datos escalable y resiliente. Y a medida que la tecnología avanza, su función se vuelve más exigente.

Las organizaciones están expandiendo su presencia en la nube e incorporando análisis de IA en tiempo real a sus operaciones. Sin embargo, una IA ágil y precisa requiere datos en tiempo real. Esto obliga a los ingenieros de datos a proporcionar datos procesables con mayor rapidez y con menos recursos, una tarea nada fácil cuando se trabaja con fuentes de datos desconectadas y silos.

Pero el panorama de la ingeniería de datos está siendo transformado por el data fabric, ya que este conecta las fuentes de datos en una capa virtual para que los ingenieros puedan centrarse en el trabajo innovador que las organizaciones necesitan para mantener su ventaja competitiva.

El data fabric no solo mejorará la eficiencia, sino que redefinirá las funciones de los profesionales de datos. Históricamente, los ingenieros de datos han construido la infraestructura y los sistemas de gestión de datos, y los científicos de datos han analizado los datos y creados modelos a partir de ellos. Pero el data fabric está difuminando la línea entre estos roles.

Los ingenieros de datos con habilidades analíticas en ciencia de datos están en la mejor posición para aportar valor a medida que las arquitecturas de data fabric se vuelven más potentes. Aquí hay tres maneras en que los ingenieros de datos pueden adaptarse para mantenerse al día con los requisitos cambiantes de su puesto.

1. Cambio de codificador a innovador

Los ingenieros de datos utilizan Python, Python R y otros lenguajes y herramientas estadísticas para extraer datos de fuentes aisladas. Una vez centralizados, pueden gestionar y transformar los datos antes de entregarlos a la siguiente etapa del proceso. La construcción de estas canalizaciones de datos a menudo implica codificar o integrar numerosos scripts de alto nivel. Como cualquier enfoque tradicional de ingeniería de software, introduce errores de codificación que causan retrasos y riesgos de seguridad.

El data fabric simplifica la conectividad de los datos al permitir una fácil integración entre diferentes sistemas. Ya sea JDBC para bases de datos o HTTP para integraciones, el data fabric unifica el panorama de datos y reduce el riesgo de errores. También admite la generación de informes y funciones de lectura y escritura en tiempo real que facilitan el autoservicio para los usuarios finales, permitiéndoles acceder a los registros de los clientes y actualizarlos en una sola interfaz.

Pero no todos los data fabric tienen capacidades de lectura y escritura que se adapten a casos de uso grandes y complejos. Por ejemplo, el data fabric de la plataforma de Appian puede leer y escribir de forma nativa 10 millones de filas por registro, lo que lo hace escalable para los procesos empresariales. Los ingenieros de datos deben conocer la escalabilidad del data fabric con el que trabajan, ya que influirá en su capacidad para pasar de la programación a un trabajo más innovador.

Los data fabrics empresariales representan un cambio fundamental. Al eliminar prácticamente la necesidad de mantenimiento y resolución de problemas de los procesos, el data fabric permite a los ingenieros centrar su atención en actividades de mayor valor, como el modelado de datos, el desarrollo de algoritmos y la analítica avanzada, áreas que históricamente han sido dominio de los científicos de datos. Esto significa que los ingenieros de datos impulsan cada vez más la comprensión del negocio y la toma de decisiones estratégicas, en lugar de simplemente facilitar el movimiento de datos.

2. Utilizar información de datos en tiempo real para ser más proactivo

Las estructuras de datos unifican datos de distintas fuentes, pero las estructuras de datos operativas van un paso más allá al incorporar el procesamiento de datos en tiempo real. Con acceso a los datos en tiempo real, las empresas pueden reaccionar a la información y tomar decisiones basadas en datos con mayor rapidez. Por ejemplo, una estructura de datos operativa proporciona información de inventario en tiempo real para que los gerentes y proveedores puedan tomar decisiones proactivas que garanticen el correcto funcionamiento de la cadena de suministro.

Las estructuras de datos operativas también facilitan la generación de informes. Tradicionalmente, los ingenieros de datos debían crear y gestionar flujos de trabajo complejos de procesamiento por lotes para generar informes sobre la información. Sin embargo, las estructuras de datos operativas transforman los datos con una mínima intervención. Esto significa que los usuarios empresariales pueden acceder a informes en tiempo real y recibir alertas para actuar con rapidez. Mientras tanto, los ingenieros pueden cambiar su enfoque de la resolución de problemas reactiva a la optimización proactiva.

3. Dedicar menos tiempo a la seguridad y más tiempo a la estrategia

La seguridad es esencial en la ingeniería de datos. Es compleja, fácil de cometer errores y tiene graves consecuencias. Esto es especialmente cierto si una empresa utiliza un modelo de data lake o almacén de datos. Con este enfoque, todos los datos confidenciales se encuentran en un solo lugar. Si los datos se ven comprometidos, la filtración es catastrófica. Y las herramientas tradicionales transfieren toda la responsabilidad de la seguridad al ingeniero de datos.

La estructura de datos transfiere la mayor parte de la responsabilidad del individuo o grupo de ingenieros a la plataforma subyacente. La mejor tecnología de estructura de datos opera con una gobernanza sólida, con seguridad integrada en el modelo y definida en varias capas de datos según los roles. Las reglas contextuales determinan dinámicamente quién puede acceder a qué. Como resultado, las políticas de control son consistentes en todas las aplicaciones y flujos de trabajo.

El data fabric transforma a los ingenieros de datos de guardianes a facilitadores. En lugar de gestionar las configuraciones de seguridad, pueden centrarse en diseñar entornos de datos escalables y compatibles. Al liberar a los ingenieros de la carga de la seguridad, el data fabric les permite dedicarse al trabajo más estratégico y analítico que antes recaía en los científicos de datos.

Un futuro unificado para ingenieros y científicos de datos
En el futuro, los ingenieros de datos ya no se centrarán exclusivamente en la infraestructura. En su lugar, trabajarán en entornos dinámicos e inteligentes. A medida que la infraestructura de datos optimiza los flujos de trabajo, los ingenieros se orientarán hacia la creación de plataformas de autoservicio. Perfeccionarán las políticas de gobernanza y optimizarán los datos para la toma de decisiones en tiempo real.

La frontera entre ingenieros de datos y científicos de datos se difuminará. Los ingenieros deberán desarrollar una comprensión más profunda de las metodologías de la ciencia de datos. Los científicos de datos necesitarán mayor fluidez en la arquitectura de datos. El resultado será la fusión de ambos roles en una disciplina más amplia, donde la experiencia técnica y el análisis se combinan para obtener mejores resultados con los datos.

En una entrevista sobre cómo saber si su organización necesita data fabric, Mike Heffner, Head of Global Industry and Value de Appian, utilizó estas dos palabras para describir el estado actual de los datos en la mayoría de las empresas: oportunidad perdida. El data fabric impide perder el valor de sus datos. Y la mejor manera de implementar el data fabric es en una plataforma de procesos como la de Appian.

Por Jacob Rank, Senior Director of Product Management, Appian