Normalisation des données pour un accès et un stockage efficaces
- Mise à jour2025-12-02
- Temps de lecture : 4 minute(s)
Les tableaux de données sont optimisés pour la lecture et présentent un format de stockage des données par colonnes, ce qui permet de stocker des millions de lignes de données. Vous pouvez utiliser l'API Data Frame Service pour normaliser les données de plusieurs formats de fichiers dans un format commun. L'utilisation d'un format unique pour toutes les données vous permet de créer des routines d'analyse et des visualisations réutilisables.
Vous pouvez utiliser des tableaux de données pour stocker des données waveform ou de série temporelle. De plus, les tableaux de données contenant les données de série temporelle ne requièrent pas d'intervalle de temps constant.
Vous pouvez effectuer les actions suivantes avec des tableaux de données :
- Utiliser plusieurs pipelines ETL (extraire, transformer, charger) pour convertir divers types de fichier aux structures de données différentes en un tableau de données.
- Utiliser des routines d'analyse communes et des techniques de visualisation pour interagir avec le format normalisé unique.
- Ajouter de nouvelles lignes à un tableau de données via un appel d'API. Un tableau de données peut avoir un nombre illimité de lignes. Les lignes peuvent être organisées dans n'importe quel ordre (toutes les colonnes peuvent réorganiser les lignes lors de la lecture du tableau). Remarque Il est possible que les données de ligne ne puissent pas être lues pendant cinq minutes au maximum après leur écriture.
- Utiliser l'API Data Frame Service pour lire des données dans un tableau de données et spécifiez les colonnes et le nombre de lignes.
- Faire une requête sur les métadonnées du tableau pour renvoyer un ou plusieurs tableaux de données correspondant aux paramètres de la requête. Cela peut s'avérer utile pour identifier les tableaux associés à un résultat de test ou à d'autres métadonnées de test.
- Faire une requête dans le tableau-même pour des données spécifiques. Cela est pratique lors de la recherche, au sein de vos données, d'une caractéristique spécifique qui n'a pas été capturée dans les métadonnées du tableau. Par exemple, vous pouvez effectuer une requête au sein d'un tableau de données pour rechercher la première instance d'une valeur supérieure à un seuil spécifique.
- Exporter les données de tableaux interrogées sous forme de fichier CSV (séparé par des virgules) afin d'afficher les données normalisées dans un éditeur de tableurs.
Lors de requêtes au sein d'un tableau, vous pouvez décimer les données avant renvoi à l'appelant. Utilisez l'une des méthodes suivantes pour décimer les données. La décimation est utile pour visualiser de grands ensembles de données. Cela s'avère aussi pratique en termes d'analyse, lorsque la forme des données est plus critique que chaque point individuel. Par exemple, vous pouvez utiliser une méthode de décimation MAX_MIN pour trouver des valeurs aberrantes sans renvoyer toutes les données du tableau de données.
| Méthode | Description | Exemple |
|---|---|---|
| LOSSY |
Permet de renvoyer un nombre de points maximum défini depuis un échantillon uniforme de l'ensemble des résultats. Si le nombre de points est inférieur au maximum défini, la décimation renvoie tous les points. Cette méthode vous permet de voir la forme générale des données plus rapidement, mais de manière moins précise. Les pics n'apparaîtront peut-être pas lors du tracé de l'ensemble des résultats. |
|
| MAX_MIN |
Renvoie les points lorsque la voie Y sélectionnée atteint ses valeurs minimales et maximales dans chaque intervalle de données. Cette décimation vous permet de tracer les données en utilisant des lignes continues. L'utilisation de lignes continues maintient la forme des données, y compris les pics. |
|
| ENTRY_EXIT |
Renvoie un ensemble de points similaire à MAX_MIN, avec en plus les points d'entrée et de sortie de chaque intervalle. L'entrée est le point le plus à gauche dans un graphe, lorsque x a sa valeur minimale dans un intervalle. La sortie est le point le plus à droite, lorsque x a sa valeur maximale dans un intervalle. |
|
Les valeurs Null et NaN peuvent affecter la forme des données de plusieurs manières si les points de données par intervalle sont trop peu nombreux.
- Les valeurs NaN peuvent apparaître comme des valeurs minimales et maximales dans la colonne qui les contient.
- Les valeurs Null sont considérées comme l'infini et apparaissent en tant que valeur maximale.
Contenu associé
- Normalisation automatique des données entrantes
Créez une routine pour convertir automatiquement les fichiers de données entrantes en tableau de données.