Integración de Datos Mineros: No Todas las Soluciones Tienen el Mismo Valor – Parte 2
En la Parte 2 de esta serie, Sean Hunter, Director de Desarrollo de Productos de Eclipse, brinda una perspectiva técnica acerca de cómo lograr una verdadera integración de los datos mineros
En la primera parte de esta serie de dos artículos, descubrimos las diferencias entre distintos tipos de integración de datos, así como la razón por la cual el lograr una verdadera integración resulta hoy tan importante para la industria minera – en otras palabras, las respuestas a las piezas del ‘qué’ y ‘por qué’ de este rompecabezas.
En esta segunda parte vamos a analizar los desafíos y oportunidades a nivel de la tecnología – el ‘cómo’ integrar los datos de modo tal de preservar sus atributos y permitir su uso fluido a través de distintas aplicaciones y funciones dentro de una organización minera.
Sean Hunter, Director de Desarrollo de Productos de Eclipse Mining Technologies, ha desempeñado un papel clave en SourceOne®, el Sistema Empresarial Potenciador del Conocimiento (EKPS, por su sigla en inglés) desarrollado por la empresa. Luego de aplicar su experiencia en materia de computación y programación en diversos roles vinculados a la arquitectura de software en Mintec, Inc., Hunter se incorporó a Eclipse en el año 2018, y actualmente dirige al equipo de desarrollo de productos de la empresa.
Gracias a su experiencia en el desarrollo de software general para la planificación de minas (GMP, por su sigla en inglés), Hunter cuenta con amplios conocimientos acerca de cómo funciona una integración exitosa de los datos, lo cual se refleja claramente en las poderosas capacidades de SourceOne, así como en su interfaz intuitiva.
Hunter explica: “La minería abarca muchas áreas, y cuenta con una amplia gama de datos que presentan algunas peculiaridades muy singulares. Por ejemplo, los grandes modelos de bloques pueden sobrecargar a los sistemas que no están diseñados para manejarlos. El comprender estos desafíos nos ayudó considerablemente al desarrollar a SourceOne. Para poder integrar adecuadamente a los datos mineros, resulta primero esencial entenderlos. Y eso es difícil para las soluciones comerciales.”
El primer paso consiste en interiorizarse con sus datos
La experiencia de Hunter ayudó al equipo a decidir, no sólo lo que deseaban lograr con SourceOne – una plataforma flexible, de datos abiertos – sino también algo más importante: los resultados que no deseaban.
“Los paquetes de software que brindan soluciones puntuales, por ejemplo, los GMP, normalmente utilizan sus propios formatos de archivos, lo cual limita a las minas en cuanto a sus modalidades de trabajo,” explica Hunter. “Al crear a SourceOne, el objetivo fue dirigirnos en la dirección opuesta, brindando flexibilidad en lugar de encerrarnos en un nuevo estándar.”
Los grandes avances tecnológicos de los últimos cinco años hacen que esta flexibilidad sea más importante que nunca. Parte del desafío para la adopción de nuevas tecnologías que permitan la adopción de prácticas mineras más limpias, más sostenibles y más eficientes, consiste en poder conectarlas con la red más amplia de tecnologías existentes para cada operación y organización. Para muchas minas, este es un factor decisivo para determinar si les será posible sacar provecho de tecnologías tales como los sistemas de acarreo autónomo o las prácticas de mantenimiento predictivo.
“Ha habido muchos cambios tanto en materia de software como de equipos,” aclara Hunter. “La Inteligencia Artificial (AI) resulta mucho más accesible actualmente, gracias a que las computadoras cuentan con mucha más potencia. El almacenamiento también se ha vuelto más rápido y menos costoso, y esto abre la puerta a muchas opciones.”
Todo esto plantea nuevos desafíos para las prácticas tradicionales de la industria y, según Hunter, puede resultar difícil aprovechar los nuevos procesos y técnicas cuando se usan los sistemas antiguos.
Hunter explica: “Si una solución de software brinda sólo una manera de realizar una tarea, el cambio se vuelve difícil, ya que los usuarios dependen de esa conducta. En algunas instancias puede funcionar, pero si los sistemas son inflexibles y las empresas mineras no pueden ajustar su rumbo, entonces su rendimiento se ve limitado.”
Cómo lograr un formato común para la integración de datos
Todos estos conocimientos contribuyeron al diseño de SourceOne, un sistema en el que no se corre con el mismo riesgo de quebrantar la compatibilidad de los datos, y que hace posible la incorporación de nuevas funciones a los datos.
El sistema se basa en un enfoque doble para la integración en base a un formato común: en primer lugar, se aconseja a los usuarios que almacenen sus datos en su formato original al incorporarlos a SourceOne. Esto evita que se pierdan datos durante la conversión.
Hunter aclara: “Es posible que algunas opciones de visualización no se encuentren disponibles dentro del sistema SourceOne, pero esto no es tan problemático como sería perder los datos, y los usuarios siempre cuentan con la posibilidad de recuperarlos. Esto también significa que las actualizaciones de SourceOne pueden agregar nuevas funciones para los datos existentes, brindando ayuda para solucionar conflictos de versiones. El sistema no impone sus propios formatos; por el contrario, brinda una visualización enriquecida de los datos. A veces también se utilizan interfaces de programación de aplicaciones (APIs, por su sigla en inglés) para lograr este objetivo, pero de una manera muy distinta.”
En segundo lugar, SourceOne pone énfasis en datos que puedan ser fácilmente comprendidos al momento de leer o de exportar los datos. Si bien a efectos de los intercambios a menudo se utilizan los archivos CSV, los archivos Parquet pueden brindar una alternativa abierta y más rápida.
“Los datos de geometría y otros datos se pueden proporcionar en formatos comunes, incluyendo los formatos OMF del Global Mining Guidelines Group,” agrega Hunter. “Asimismo, existen múltiples maneras de leer los datos, dependiendo de las necesidades del usuario, lo que contribuye a eliminar el problema que los datos se pierdan en las conversiones.”
Proporcionar acceso a estos formatos comunes resulta importante, especialmente para los datos derivados o editados. Para asegurarse que SourceOne funcione en todos estos casos, el sistema almacena a los datos como capas de cambios superpuestas al original. En otras palabras, nunca se pierden los datos originales en su versión original, incluso cuando se los utiliza para otras tareas más adelante.
El Problema con las APIs
Volviendo al tema de las APIs que Hunter mencionó anteriormente… ¿Por qué no resulta posible combinarlas para permitir la integración de datos entre los antiguos sistemas de software y las soluciones actuales más neutrales?
“Desde un punto de vista técnico, responder a este desafío requiere la planificación y diseño desde el inicio,” indica Hunter. “Si se hace con posterioridad, esto normalmente genera una serie de problemas."
"Por ejemplo, al diseñar una herramienta para unificar varios tipos de formatos distintos, los desarrolladores tienen la tendencia a crear otro tipo más de estándar o formato de archivo nuevo. En lugar de resolver el problema, esto agrega estándares adicionales y mayores fracturas al panorama ya existente.”
Hunter agrega que, incluso en una situación ideal en la que todos los proveedores comparten APIs, este enfoque igual puede resultar en la pérdida de datos; la implementación de las funciones varía en los distintos sistemas, y a veces simplemente no resulta posible realizar una importación fluida entre ellos.
“Al transferir los datos a otro producto, procesarlos en este producto, y transferirlos de regreso, lo más probable es que se pierdan datos, en particular cuando los tipos de datos son complejos,” explica Hunter. “Peor aún, el sistema puede funcionar hoy, pero quizás no lo haga mañana. Las APIs y las versiones cambian de manera constante, y coordinarlas se convierte en una lucha constante.”
Muchos proveedores de software alegan que sus productos tradicionales han evolucionado para convertirse en productos tecnológicamente ‘neutrales’, pero este argumento genera dudas (incluso más allá del costo prohibitivo que esta evolución involucra) en cuanto a si este ejercicio ha resultado en una solución que pueda desempeñarse de manera óptima.
Según comenta Hunter: “Las soluciones preexistentes manejan a los datos de un modo completamente distinto, lo que hace muy difícil su transformación. Algunas herramientas brindan la capacidad de visualizar algunos formatos distintos de manera directa, pero no están necesariamente diseñadas para permitir esa funcionalidad desde el inicio. A menudo, esto sólo funciona en ciertas circunstancias limitadas. Las otras funciones – la capacidad de contar con datos derivados con contexto, etc. – serían muy difíciles de implementar, ya que necesitan ser incluidas desde las etapas iniciales.”
Flexibilidad para el futuro
La inteligencia artificial ha sido proclamada a menudo como el futuro de la industria, y el motor generador de la Cuarta Revolución Industrial (Industria 4.0). La velocidad con la que se mueve la IA y su funcionalidad son el ejemplo más claro de por qué las minas necesitan una plataforma con la capacidad de expandirse para manejar datos de cualquier tipo y tamaño a su entera voluntad.
“Además de su flexibilidad para manejar una gran gama de tipos de datos, SourceOne se ajusta a algunas de las tendencias más importantes actualmente, incluyendo la IA generativa,” destaca Hunter. “La IA generativa tiene un gran potencial, pero no se ocupa de los hechos. Por el contrario, el EKPS SourceOne contiene todos los hechos y conocimientos vinculados con cada operación; los dos aspectos tienen que funcionar de manera complementaria.”
Otra característica distintiva de SourceOne es su uso de la ontología de datos y los gráficos de conocimientos. Si bien hay muchas definiciones de estos conceptos, todas se centran en la capacidad de organizar y entender a los datos y a sus relaciones subyacentes de una manera que resulte accesible tanto para los humanos como para la máquinas.
Hunter explica: “Muchas herramientas necesitan que los datos se ajusten a ciertos conceptos predeterminados, y es posible que el ajuste no siempre sea el mejor. Resulta entonces necesario que las minas busquen soluciones alternativas, o quizás que lleguen a la conclusión de que no hay manera de hacer lo que quieren hacer. Con los gráficos de conocimientos del sistema SourceOne resulta posible configurar a los conceptos directamente en el software, junto con las relaciones que tienen entre ellos.”
Más allá de la flexibilidad, esto permite un modelado de los datos y el uso de analítica que de otra manera resultaría en extremo difícil, en particular en lo que respecta a las relaciones entre los datos. También resulta posible realizar la validación de los datos para verificar que tenga sentido, ya que es posible incluir reglas específicas en cada gráfico de conocimientos. Esto ayuda a prevenir errores, además de promover un nuevo nivel de eficiencia.
“No conozco ningún otro sistema de software para la minería que utilice gráficos de conocimientos,” concluye Hunter. “Al utilizar un producto más genérico, las empresas pueden enfrentar obstáculos al intentar integrar sus datos y sus soluciones de software teniendo en cuenta los requerimientos específicos de la minería.
“El enfoque flexible y abierto de SourceOne puede adaptarse a las necesidades de los usuarios dónde y cómo resulte necesario.”
Para descubrir más acerca del Sistema SourceOne contacte a info@eclipsemining.com o visite nuestra página https://eclipsemining.com/es/