NI Visionでは、2つのオブジェクト追跡アルゴリズムが使用されています。

  • 平均シフト—ユーザが定義したオブジェクトの位置を反復して更新することでオブジェクトを追跡する簡単なアルゴリズム。
  • EMベースの平均シフト (形状適応平均シフト)—平均変位法アルゴリズムの拡張バージョンで、オブジェクトの位置だけでなくスケールを含む形状をフレームごとに取り込みます。
  • オブジェクトを追跡するには、ターゲットをまず特徴スペースで特徴付ける必要があります。カラーヒストグラムは、オブジェクトの外観を確実に表示するため、特徴スペースとして選択されます。オブジェクトの移動はそのヒストグラムによって特徴付けされます。特徴ヒストグラムベースのターゲット表現は、等方性カーネルを使用した空間マスクによって正規化されます。

    平均変位法を理解する

    平均変位法アルゴリズムは、ローカルモード(ローカル最大)のカーネルベース予測の確率密度関数位置を簡単に検索できる方法です。画像フレームのオブジェクト追跡は、ヒストグラム抽出、重み計算、新しい位置の取得の組み合わせによって実行されます。

    平均変位法アルゴリズムには3つの段階があります。

  • ターゲットモデル—指定のフレーム内でターゲットオブジェクトを選択します。ターゲットモデルをカーネルのある指定の特徴空間(カラーヒストグラム)で表現します。
  • 平均変位収束—次のフレームで現在のヒストグラムと空間データを使用して類似度関数を最大にすることで、最もマッチするターゲット候補を検索します。平均変位法アルゴリズムでは、以下の図にあるように、オブジェクトの中心が現在の位置から新しい位置へ移動します。カーネルは類似度関数の収束まで移動し、オブジェクトの位置が更新されます。
  • 場所とモデルを更新—ブレンディングパラメータを基に、ターゲットモデルを更新してターゲットの位置を更新します。
  • EMベース平均変位法を理解する

    平均変位法アルゴリズムは、スケールまたは幾何学的シフトに影響されません。サイズや形状が変化するオブジェクトを追跡するには、EMベース平均変位法アルゴリズムが必要になります。

    EMベース平均変位法(形状適応平均変位法)アルゴリズムは、前述の標準アルゴリズムを拡張したものです。EMベース平均変位法アルゴリズムは、ローカルモードの位置とローカルモードのおおよその形状を描写する共分散行列を同時に予測します。オブジェクトを定義する領域の形状とスケールを定義する共分散行列は、各フレームを更新してそのフレーム内のオブジェクトの形状とスケールを取り入れるようにします。

    平均変位法アルゴリズムには3つの段階があります。

  • ターゲットモデル—指定のフレーム内でターゲットオブジェクトを選択します。ターゲットモデルをカーネルのある指定の特徴空間(カラーヒストグラム)で表現します。
  • 平均変位収束—次のフレームで現在のヒストグラムと空間データを使用して類似度関数を最大にすることで、最もマッチするターゲット候補を検索します。平均変位法アルゴリズムでは、以下の図にあるように、オブジェクトの中心が現在の位置から新しい位置(特に重心)へ移動します。移動する振幅および方向は、平均変位法ベクトルによって表現されます。カーネルは類似度関数の収束まで移動し、オブジェクトの位置がカーネルの共分散と共に更新されます。
  • 場所とモデルを更新—ターゲットモデル(スケールと形状を含む)を更新し、ブレンディングパラメータと許容可能な最大スケールと形状変動を基にターゲットの位置を更新します。
  • カルマン予測

    EMベース平均変位法では、カルマンフィルタの実装も行うことができます。カルマンフィルタは、ターゲットの測定履歴を使用してシステムの状態モデルを構築します。測定履歴はターゲットの位置を正確に予測するために使用されます。

    ヒストグラム逆投影法

    逆投影法は、オブジェクトの実際のサイズと位置を使用してターゲット候補のサイズと位置の収束を改善する方法のひとつです。逆投影法を使用して、ターゲット候補のピクセルがターゲットでモデルとするピクセル分布にどの程度合致しているかを記録することができます。これにより、オブジェクトのモデルがどの程度その外観にマッチしているか判断することができます。

    関心オブジェクトを含む画像のヒストグラムが作成され、それを画像に逆投影します。結果画像を適切に2値化することで、オブジェクトを背景から分離します。

    結果画像の各ピクセル値は、ピクセルがオブジェクトの一部である尤度を表現しています。最小ピクセル値である0は、そのピクセルがオブジェクトに属していないことを示し、最大値の255は、そのピクセルがオブジェクトに属していることを確証します。逆投影された画像によって、追跡アルゴリズムが追跡するオブジェクトに属するピクセルをどの程度認識できているかを確認することができます。

    背景除去法

    ターゲットモデルの収束を改善する第2の方法は、背景除去法です。この方法は、特定シーンで前景オブジェクトを抽出するものです。これにより誤検出を削減することができ、ターゲットモデルとターゲット候補間で優れたマッチを作成することができます。

    適切なパラメータを選択する

    以下のパラメータはユーザ設定が可能で、必要に応じたオブジェクト追跡アプリケーションを作成することができます。

  • ヒストグラムビン—オブジェクトを特徴付けるヒストグラムの表現に必要なビン数を定義します。 ビンの数が減少すると、指定の範囲内に入る色の数が多くなるため、色を区別できなくなります。ビンの数を多くすることで、非常に似ている複数の色を区別することができます。通常、使用するビンが多いほどマッチを高速に行えます。 デフォルトでは、16ビンをグレースケール画像に使用し、RGB画像では8ビンを使用します。
  • ブレンディングパラメータ—ターゲットモデルが以前のフレームを基調にしている度合を定義します。このパラメータは1~100の間に収まります。 非常に高い値では、モデルが現在のフレームに大きく依存します。そのため、ターゲットオブジェクトが遮蔽されている場合、またはフレーム外にある場合は、次のフレームでオブジェクトの位置を確認できません。 非常に低い値では、モデルが以前のフレームに大きく依存します。結果として、モデルはオブジェクトの外観の新しい変化を取り入れません。これは、ターゲットが頻繁に遮蔽されるサーベイランスのアプリケーションに理想的です。 デフォルト値は10%です。
  • 最大反復—マッチが見つかるまでの反復の最大数を指定します。ターゲットオブジェクトとターゲットモデルの類似性が収束されるまで、または反復の最大数に達するまで、マッチは反復されます。 デフォルト値は15です。
  • 以下の追加パラメータを使用してEMベース平均変位法アルゴリズムを構成できます。

  • 最大スケール変化—フレーム間でオブジェクトを定義する領域サイズを変化できる最大比率です。
  • 最大回転変化—フレーム間でオブジェクトを定義する領域を回転できる最大度数です。
  • 最大形状変化—フレーム間でオブジェクトを定義する領域の形状を変化できる最大比率です。