LabVIEWにおけるIEEE 754浮動小数点数 (丸め誤差、比較許容誤差、SGL、DBL、EXT形式を含む) について理解します。

LabVIEWの浮動小数点数はANSI/IEEE Standard 754-1985に準拠しています。すべての実数がANSI/IEEE標準の浮動小数点数で表現できるわけではありません。したがって、浮動小数点を使用する比較では丸め誤差の影響で予想外の結果が生じる場合があります。不正確な結果を回避するには、浮動小数点数を整数に丸め込みます。たとえば、2桁の小数点を含む計算結果を出す場合、浮動小数点数を100で乗算し、計算が完了する前にその積を整数に丸め込みます。また、2つの浮動小数点数値が、それぞれ等しいかどうかを確認するのではなく、それぞれ値が近いかどうかを確認します。たとえば、2つの浮動小数点数値の差異の絶対値が定義された許容範囲よりも小さい場合、それらの数値は等しいとみなされます。

数値データタイプのビット数、桁数、範囲の詳細については、「数値データタイプ表」を参照してください。浮動小数点数には以下の3つのタイプがあります。

単精度 (SGL)―単精度浮動小数点数は32ビットIEEE単精度形式です。メモリ節約の目的などで単精度浮動小数点数を使用する場合はオーバーフローに注意してください。
倍精度 (DBL)―倍精度浮動小数点数は64ビットIEEE倍精度形式です。倍精度は、数値オブジェクトのデフォルト形式です。ほとんどの場合、倍精度小数点数を使用します。
拡張精度 (EXT)―拡張精度数値をディスクに保存すると、LabVIEWに保存されるデータはプラットフォームに依存しない128ビット形式になります。メモリの場合、サイズと精度はプラットフォームにより異なります。拡張精度浮動小数点数は、必要な場合にのみ使用してください。拡張精度演算の能力はプラットフォームにより異なります。

多くの場合、データ収集VIは浮動小数点数の配列を返します。