Cómo seleccionar el enfoque adecuado para almacenar datos de una medición

Fecha de Publicación: Aug 16, 2013 | 0 Ratings | 0.00 out of 5

Visión General

Visión General Su empresa invierte miles, posiblemente hasta millones de dólares en equipos para recolectar datos porque estos son la clave para la innovación de productos. Por cada tendencia que identifique a partir de sus datos, usted puede potencialmente ofrecer una nueva función o producto al mercado para atraer una mayor cuota de mercado de manera más rápida en un entorno altamente competitivo y global. Sin embargo, es un reto pasar rápidamente de los datos en bruto a resultados significativos. De hecho, según una encuesta realizada por National Instruments, los datos son el aspecto más difícil de trabajar con las herramientas de software actuales. Según ingenieros y científicos, trabajar con datos es más difícil que el mantenimiento de código heredado o la programación completa de un sistema nuevo de adquisición de datos. Ahora, para ser justos, trabajar con datos es un tema muy amplio que abarca muchos aspectos diferentes. Los problemas que usted enfrenta vienen de todas las fases del diseño de su aplicación de medición e incluyen varias preocupaciones: ¿Cuántos datos debo recolectar durante la realización de la prueba? ¿Qué formato de archivo será el mejor? ¿Qué hago con los datos después de haberlos recolectado? Sin embargo, para muchos de los nuevos sistemas de medición, elegir adecuadamente el método de almacenamiento de datos y enfrentar estos importantes problemas es secundario. Los ingenieros y científicos a menudo terminan seleccionando la estrategia de almacenamiento que fácilmente cumpla con las necesidades de la aplicación, en su estado actual, sin tomar en cuenta las necesidades futuras. Sin embargo, con el tiempo, las opciones de formato de almacenamiento pueden tener un gran impacto en la eficiencia general del sistema de adquisición, así como la eficiencia del procesamiento posterior de los datos en bruto. La gestión y el posterior procesamiento de datos se vuelven especialmente problemático si tenemos en cuenta que estamos recolectando datos a una velocidad que imita la ley de Moore. Gracias al aumento de la capacidad de almacenamiento y velocidad del microprocesador, los gastos de almacenamiento de datos está disminuyendo exponencialmente y el mundo está generando suficientes datos para duplicar todo el catálogo de datos aproximadamente cada dos años. Elegir el enfoque adecuado que sea lo suficientemente flexible para adaptarse a sus necesidades de gestión de datos en el mundo digital siempre en evolución no es una tarea fácil. Este artículo sugiere algunos consejos útiles para ayudarle a empezar y administrar correctamente los datos de su aplicación.

 

TABLA DE CONTENIDO

1.    Selección de un formato de archivo adecuado

2.    Transferencia eficiente de datos a un archivo

3.    Analice y reporte sus resultados

4.    Asegure el éxito de su aplicación con las estrategias correctas para guardar datos

5.    Recursos Adicionales

 

1. Selección de un formato de archivo adecuado

El primer paso para el logro de una solución coherente de manejo de datos es garantizar que los datos se almacenan en la forma más eficiente, organizada y escalable. Con mucha frecuencia, los datos se almacenan sin información descriptiva, en formatos inconsistentes, y son dispersados sobre matrices de computadoras, lo que crea un cementerio de información que hace que sea extremadamente difícil localizar un conjunto particular de datos y derivar las decisiones a partir del mismo.

Dependiendo de la aplicación, es posible priorizar ciertas características sobre otras. Formatos comunes de almacenamiento, como ASCII, binario y XML tienen fortalezas y debilidades en diferentes áreas.

 

Archivos ASCII

Muchos ingenieros prefieren almacenar datos mediante archivos ASCII (Código Estándar Americano para el Intercambio de Información), debido al formato de  fácil intercambiabilidad y legibilidad. Sin embargo, los archivos ASCII tienen varios inconvenientes, incluyendo un espacio de disco grande, que puede ser un problema cuando el espacio de almacenamiento es limitado (por ejemplo, almacenamiento de datos en un sistema distribuido). Leer y escribir datos desde un archivo ASCII puede ser significativamente más lento en comparación con otros formatos y en muchos casos, la velocidad de escritura de un archivo ASCII no puede mantenerse al día con las velocidades de los sistemas de adquisición, lo que puede conducir a la pérdida de datos.

Figura 1.  Los archivos ASCII son fáciles de intercambiar, pero pueden ser demasiado lentos y grandes para muchas aplicaciones.

 

 

Archivos binarios

Otro enfoque típico de almacenamiento que está un poco en el extremo opuesto del espectro de ASCII son los archivos binarios. A diferencia de los archivos ASCII, los archivos binarios tienen un espacio de disco significativamente más pequeño y se puede transmitir en el disco a velocidades extremadamente altas, lo que es ideal para aplicaciones de un gran número de canales y en tiempo real. Un inconveniente de utilizar binario es su formato ilegible que complica la intercambiabilidad entre los usuarios. Los archivos binarios no pueden ser abiertos inmediatamente por un software común; sino que tienen que ser interpretados por una aplicación o programa. Diferentes aplicaciones pueden interpretar los datos binarios de diferentes maneras, lo que provoca confusión. Una aplicación puede leer los valores binarios como caracteres de texto, mientras que otra puede interpretar los valores como colores. Para compartir los archivos con colegas, debe proporcionarles una aplicación que interprete correctamente su archivo binario específico. Además, si se realizan cambios en la forma en que los datos se escriben en la aplicación de adquisición, estos cambios también deben reflejarse en la aplicación que está leyendo datos. Esto puede potencialmente causar problemas de versiones de la aplicación a largo plazo y dificultades que a la larga pueden resultar en la pérdida de datos.

Figura 2. Los archivos binarios son beneficiosos en aplicaciones de alta velocidad, de espacio limitado; pero pueden causar problemas de intercambiabilidad.

Archivos XML

En los últimos años, el formato XML ha ganado popularidad debido a su capacidad para almacenar estructuras de datos complejas. Con los archivos XML, usted puede almacenar datos junto con su  formato y ademáslos valores de medición sin procesar(“raw”). Con la flexibilidad del formato XML puede almacenar información adicional a los datos de una manera estructurada. El formato XML es también relativamente legible e intercambiable. Al igual que los ASCII, los archivos XML se pueden abrir en muchos editores de texto comunes, así como navegadores de Internet compatibles con XML, como Microsoft Internet Explorer. Sin embargo, en su forma sin procesar ("raw"), XML incluye tags dentro del archivo que describen las estructuras. Estos tags también aparecen cuando los archivos XML se abren en estas aplicaciones, que de alguna manera limitan la legibilidad, ya que  usted debe ser capaz de entender estos tags. La debilidad del formato de archivo XML consiste en la huella que dejan en el disco, en cuanto a espacio de almacenamiento se refiere, en comparación con otros archivos y no se puede utilizar para escribir datos directamente en el disco. Además, una desventaja de poder almacenar estas estructuras complejas es que pueden requerir una considerable planificación cuando usted diseña  el diagrama, o esquema, de las estructuras XML.

Figura 3. Los archivos XML pueden ayudar a definir las estructuras complejas, pero son significativamente más grandes y más lentos que otros formatos.

 

Archivos de base de datos

Los archivos de base de datos se componen de una serie de tablas, diseñadas con columnas y filas, y la información puede o no estar conectada entre las tablas. La habilidad de búsqueda hace ventajoso a los archivos de base de datos, sin embargo, pueden ser poco prácticos para aplicaciones de medición basadas ​​en el tiempo, dada la cantidad de datos adquiridos y la necesidad de comprar o desarrollar una solución de base de datos formal a partir de cero. Las mediciones basadas en el tiempo causan que las bases de datos se sobrellenen, lo cual  hace lento el retorno de la búsqueda,  debilitando el propósito de las bases de datos en primer lugar.

 

Archivos TDMS

TDMS (Gestión Técnica de Transmisión de Datos) es un formato basado en un archivo binario, por lo que tiene un espacio de disco pequeño y puede transmitir datos en el disco a altas velocidades. Al mismo tiempo, los archivos TDMS contienen un componente de cabecera que almacena información descriptiva, o atributos, junto con los datos. Algunos atributos como nombre de archivo, fecha y ruta del archivo se almacenan de forma automática; sin embargo, usted puede agregar fácilmente sus propios atributos personalizados. Otra de las ventajas del formato de archivo TDMS es la incorporación de tres niveles  jerárquicos: archivo, grupo y canal. Un archivo TDMS puede contener un número ilimitado de grupos, y cada grupo puede contener un número ilimitado de canales. Usted puede agregar atributos a cada uno de estos niveles, describiendo y documentando sus datos de prueba para una mejor comprensión. Esta jerarquía crea una organización inherente de sus datos de prueba.

Tabla 1.  El formato de archivo TDMS combina los beneficios de varias opciones de almacenamiento de datos en un único formato de archivo.

2. Transferencia eficiente de datos a un archivo

Con la mayor frecuencia en que usted escriba sus datos en el archivo, mayores serán las posibilidades de que el procesador no pueda mantener el ritmo. Para contrarrestar esta situación, usted debe diseñar su programa para aprovechar la memoria  incorporada disponible con la creación de un búfer temporal. Luego puede vaciar periódicamente el búfer transfiriendo todos los datos al disco al mismo tiempo en un bloque más grande, un proceso a veces conocido como vaciar el búfer.

Con este enfoque, se puede minimizar el tiempo del procesador guardando los datos periódicamente en bloques. Por ejemplo, adquiriendo a 60 kB/s, y tratando de guardar cada uno de los puntos al archivo individualmente no es un uso eficiente de los recursos del procesador. En cambio, si se configura un búfer FIFO de 10 kB en la memoria incorporada, entonces usted sólo tiene que vaciar el búfer cada 16 ms para continuar con la adquisición. Este enfoque le permite al procesador tiempo libre entre escrituras para manejar otras tareas.

Administración del espacio del disco duro

Elegir el formato de archivo correcto es también una parte crucial de la transmisión de datos de forma eficiente. La gran capacidad de memoria requerida por ASCII hace que sea menos adecuado para aplicaciones que requieren guardar datos en línea. En ASCII, cada carácter ocupa ocho bits (un byte) de memoria del sistema. Por lo tanto el número 123456789 requiere nueve bytes de memoria. En binario y TDMS el número entero se representa como una serie de unos y ceros. Por lo tanto en este caso el número 123456789 se representa como 111010110111100110100010101, que sólo requiere 27 bits (alrededor de cuatro bytes) de memoria.

Una diferencia de cinco bytes puede parecer insignificante, pero si  usted extrapola y considera un archivo que contiene 100,000  números de nueve dígitos, un archivo ASCII será 1.04 MB, mientras que un archivo TDMS/binario solo ocupará 390 kB para el mismo conjunto de datos. Esto significa un ahorro significativo en espacio de disco duro teniendo en cuenta que un MB sigue siendo relativamente pequeño para un archivo de datos.

 

3. Analice y reporte sus resultados

Una creciente preocupación a la hora de seleccionar las herramientas de análisis y reporte de datos, es el tamaño y la velocidad de los datos que pueden procesar. Usted está recolectando más datos desde más lugares más rápido que nunca. Si las herramientas de análisis  y reporte de datos que utilizamos a diario no pueden mantenerse al día con las nuevas tendencias o no pueden leer en el archivo de datos en el formato almacenado, entonces usted tiene más datos que nunca, pero ninguna herramienta para analizarlos con eficacia. Las herramientas de análisis y reporte de datos que se han creado para el análisis financiero no son adecuadas para la adquisición de datos y generan muchas limitaciones frustrantes. Si usted está tratando de manipular o correlacionar grandes conjuntos de datos, entonces sería beneficioso utilizar las herramientas de análisis y reporte de datos que se han diseñado para conjuntos de datos grandes. Sin el análisis de datos correcto, usted observará que la realización de cualquier análisis y la generación de reportes para compartir los resultados consume mucho tiempo, o tal vez no sea capaz de analizar o informar del todo debido al gran volumen de datos que posee.

 

4. Asegure el éxito de su aplicación con las estrategias correctas para guardar datos

El proceso de guardar los datos de medición involucra muchas consideraciones complejas que son vitales para el éxito de su aplicación de medición. Si no se eligen las estrategias correctas para guardar datos, se puede causar el desbordamiento de la memoria, la sobrecarga del procesador y la generación de archivos de datos inservibles o sin sentido. Para evitar esto, es necesario anticipar correctamente las necesidades de memoria de la aplicación y tomar decisiones informadas sobre el método que se utiliza para guardar los datos, el formato de archivo que utiliza, la forma en que se organizan los datos en los archivos, y el tipo de sistema más apropiado para ejecutar la aplicación.

 

5. Recursos Adicionales

Conozca más acerca de DIAdem para ayudarle a tomar decisiones basadas en el conocimiento de sus datos en bruto.

Conozca más sobre la estructura de archivos Gestión Técnica de Transmisión de Datos (TDMS)

 

Regresar al Inicio

Bookmark & Share


Ratings

Rate this document

Answered Your Question?
Yes No

Submit