應用智慧辨識整合性自動分流系統建置

- 王 啟鑫, 私立東海大學工業工程與經營資訊學系

"「使用LabVIEW透過NI OPC Server連接PLC,利用LabVIEW Vision Assistant視覺鏡頭連接設計,一連串圖示程式設計硬體整合更加快速以及便利。」- 王鑫、私立東海大學\學生\工業工程經營資訊學系企業電子自動化實驗室"

- 王 啟鑫, 私立東海大學工業工程經營資訊學系

The Challenge:

開發一套利用無線射頻辨識技術(RFID)、視覺影像鏡頭、機械手臂、輸送帶以及可程式邏輯控制器(PLC),整合成一個可以在物品位置不固定且保持移動中的情況下,讓機械手臂進行精準動態抓取的系統,解決目前必需物品為固定位置才能讓手臂自動化抓取的問題。並且將所有操作狀態上傳至雲端,讓該系統可以進行遠端監控。

The Solution:

在一個自動化工廠中,貨品的運送、加工過程中必然存在著辨識系統來辨識瑕疵品或是貨品的種類,以現今物流常用的辨識系統來說,通常使用條碼來讀取資料,並使用紅外線測量貨物的大小,來達到辨識的功能。因此為了改善條碼讀取的限制,以及紅外線測量上的缺點,本研究使用RFID取代條碼,利用視覺鏡頭增加貨物外觀辨識功能,並加入機械手臂配合視覺鏡頭以動態抓取貨物,以及增加整合製造系統、電腦即時監控系統,整合成一套具備了查詢貨物資訊並監控系統流程的「整合性自動分流系統」,並結合RFID與影像視覺之智慧型辨識系統。

Author(s):

王 啟鑫 - 私立東海大學工業工程與經營資訊學系
江 宛真 - 私立東海大學工業工程與經營資訊學系
鄭辰仰 老師 - 國立台北科技大學

 

 

私立東海大學-工業工程經營資訊學系企業電子自動化實驗室簡介

由東海大學工學院院長王立志老師主持的研究團隊。本實驗室旨在提供自動化相關之設備,以訓練學生瞭解各類程序控制裝置的原理及特性,使學生從工業控制、感測器及自動化機構來了解一些基本技術及其在工業自動化的應用與整合。

 

發現既有物流技術問題

在一次機會下參訪了某物流中心,其貨物進入自動倉儲之前的辨識系統,是使用條碼偵測器讀取貨品資訊,並利用紅外線檢測器偵測貨品大小。但是其仍存在它的不足性,所以本研究期望將其改善成一個更加智慧化的系統,預期利用無線射頻辨識技術(Radio Frequency Identification; RFID)的特性取代只能在特定位置辨識的條碼偵測器,視覺辨識鏡頭則是替換掉了只能感測物品大小的紅外線檢測器,並且增加機械手臂配合視覺辨識鏡頭,達成動態抓取的功能,建立一套「整合性自動分流系統」。

 

 

透過LabVIEW整合硬體,一套整合性自動分流系統

了解了現存辨識分流系統存在許多限制,如:需準確對焦的條碼讀取方式、辨識度有限的紅外線掃瞄……等問題,使得系統的運作效率大幅降低。而本研究利用LabVIEW這套工具,期望將其改善成一個更加智慧化的系統,以解決上述之問題,建置了一套整合分流系統,其具體貢獻如下:

1. 建立智慧型辨識整合分流系統,透過RFID與視覺鏡頭兩項設備特性,克服現存常用設備的限制,並提升系統對於不同物品的接受度。

2. 發展動態座標辨識方法論,可精確定位移動中的加工物件,使得機械手臂在分流作業的效率得以提升,並將座標轉換過程分成了五大步驟。

3. 實作示範分流系統架構,廠商可透過行動裝置即時地獲取機台生產狀況資訊,協助管理者達到即時監控的功能。

 

整合性自動分流系統架構

在圖2系統架構圖中,從開始接收到一筆進貨單,藉由MES將資料輸入並且上傳至資料庫,透過RFID讀取貨品資訊,藉由軟體LabVIEW串聯機械手臂、視覺鏡頭以及PLC所連接的輸送帶和推桿,來完成分類動作,透過LabVIEW利用圖示化的方式即時掌控現場分類狀況,並且透過電子信箱以及手機簡訊的方式,告知管理者訂貨單分類狀態以及結果。圖3顯示所使用的相關硬體設備。

 

 

圖 3系統硬體實體照片

為了使研究更加容易且快速的進行,我們將研究開發使用工具劃分成軟體面向以及硬體面向兩個面向。軟體面相分為:

  1. LabVIEW 2013-將鏡頭座標透過動態抓取公式換算成機械手臂座標,透過COM與機械手臂進行溝通,並且透過PLC所連接的輸送帶、紅外線感應器以及推桿,控制各個硬體的開關,最後將各硬體即時狀態上傳至資料庫。
  2. LabVIEW Vision Assistant 2013-分析從視覺鏡頭所抓取的畫面,提供物品圖片進行掃描,抓取座標後回傳給LabVIEW。
  3. Microsoft Visual Studio 2010-利用WEB版本建立MES系統,從資料庫抓取進貨單資料、貨品資料、人員資料以及機台資料,整理成表格顯示。同樣使用Windows版本設計與RFID進行溝通,透過COM傳輸以及接收資訊,將資料上傳至資料庫。

 

硬體面向分為:

  1. 機械手臂-抓取物品的工具,透過COM接收LabVIEW給予機械手臂指令,完成移動路徑以及抓取的動作。
  2. PLC-連接輸送帶、紅外線感應器以及推桿,輸送帶的停止啟動和紅外線感應到物品時推動推桿的動作,透過PLC的階梯圖來控制所有動作。
  3. RFID-分為讀取資料的Reader以及存放資料的Tag,在物品貼上Tag來儲存資料,當物品經過Tag時,不須接觸的方式讀取資料。
  4. 視覺辨識鏡頭-抓取物品畫面。

 

系統流程

 

 

首先當收到進貨單後,將資料輸入MES系統之中,建立新的表單,並將資料上傳至資料庫,此時分流系統也將開始啟動,透LabVIEW進行一系列的控制。當貨物進入分流系統,首先會經過RFID的讀取器,並且為貨品建立產品編號以方便MES系進行庫存管理,隨後會由視覺鏡頭根據貨品外觀跟資料庫作比對判斷其為何類型之貨品,若判定為A貨品時,會經由機械手臂抓取至A區庫存,若為B貨品時,則會利用推桿將貨品推至B區庫存。而C貨品時,機械手臂以及推桿均不會有任何動作,讓貨品直接由輸送帶運向C區庫存,而上述之分類過程之資訊均會即時地回饋給資料庫,包含了貨品之種類、存放位置……等資訊。而當一張進貨單之貨品軍分類儲存完後,分類系統也會將完成之狀態回報給資料庫,此時LabVIEW會將完成後的狀態與分類資訊,通過電子郵件或簡訊通知管理者,讓管理者方便管理。另外,為使管理者可更清楚地了解系統分流的狀況,本研究也設計了一個監控系統使管理者可以更即時地掌握系統狀況,圖4為系統流程示意圖。

 

硬體面向分為:

  1. 機械手臂-抓取物品的工具,透過COM接收LabVIEW給予機械手臂指令,完成移動路徑以及抓取的動作。
  2. PLC-連接輸送帶、紅外線感應器以及推桿,輸送帶的停止啟動和紅外線感應到物品時推動推桿的動作,透過PLC的階梯圖來控制所有動作。
  3. RFID-分為讀取資料的Reader以及存放資料的Tag,在物品貼上Tag來儲存資料,當物品經過Tag時,不須接觸的方式讀取資料。
  4. 視覺辨識鏡頭-抓取物品畫面。

 

系統流程

首先當收到進貨單後,將資料輸入MES系統之中,建立新的表單,並將資料上傳至資料庫,此時分流系統也將開始啟動,透LabVIEW進行一系列的控制。當貨物進入分流系統,首先會經過RFID的讀取器,並且為貨品建立產品編號以方便MES系進行庫存管理,隨後會由視覺鏡頭根據貨品外觀跟資料庫作比對判斷其為何類型之貨品,若判定為A貨品時,會經由機械手臂抓取至A區庫存,若為B貨品時,則會利用推桿將貨品推至B區庫存。而C貨品時,機械手臂以及推桿均不會有任何動作,讓貨品直接由輸送帶運向C區庫存,而上述之分類過程之資訊均會即時地回饋給資料庫,包含了貨品之種類、存放位置……等資訊。而當一張進貨單之貨品軍分類儲存完後,分類系統也會將完成之狀態回報給資料庫,此時LabVIEW會將完成後的狀態與分類資訊,通過電子郵件或簡訊通知管理者,讓管理者方便管理。另外,為使管理者可更清楚地了解系統分流的狀況,本研究也設計了一個監控系統使管理者可以更即時地掌握系統狀況,圖4為系統流程示意圖。

 

 

圖4系統流程圖

使用 NI 現成技術的主要優勢

以LabVIEW以及LabVIEW Vision Assistant以及其他軟體建立出來的一套整合性自動分流系統,擁有以下優勢:

 

機械手臂動態抓取,讓抓取物品時間更加快速

本研究之主要核心將透過LabVIEW Vision Assistant軟體,設定機械手臂以動態抓取的方式準確抓取物件,根據機械手臂的功能演進,循序漸進作探討,再依據本系統的設備條件導出本系統之座標轉換公式。

 

在機械手臂的功能演進部分,從一開始是貨品在固定的位置經由機械手臂抓取到固定的座標。之後演變成貨物在視覺辨識鏡頭下,偵測出貨品所在的鏡頭座標,並轉換成機械手臂的座標,再由機械手臂抓取到固定位置。最後則是貨物在移動的狀態下,由視覺辨識鏡頭偵測出鏡頭座標轉換成機械手臂的座標,在貨物持續移動的情況下進行抓取的動作,圖5為整個座標系統換算過程。

 

 

LabVIEW人性化界面系統,更加容易

本系統透過RFID取代原先的條碼讀取器,讓貨品快速並且準確的讀取資料,並且即時上傳讀取資料,提供管理者在MES系統畫面得知該貨品資訊,進而減少該階段的讀取時間,並且新增寫入資訊至RFID Tag,經過讀取資訊之後,由後方視覺鏡頭辨識貨品種類,進而決定放置庫存位置,且視覺鏡頭辨識無須讓貨品停止,亦可測量該貨品大小以及顏色等等特徵,除了減少該階段辨識時間之外,更能因應多樣化的貨品,增加辨識的能力。在機械手臂的階段,以往貨品需停在固定範圍內讓鏡頭進行座標抓取,本研究新增讓貨品不停止的情況下進行準確的動態抓取,減少該階段貨品分類時間。此外,透過LabVIEW設計即時監控畫面如圖6,可以監控整合後的各項軟硬體設備運作,讓管理者更即時地了解現場,並有效地作管控。綜合上述許多的效益,預期能夠讓貨物從卸貨到存放至庫存區所經過時間大幅減少,讓公司能夠快速的自動化分類。

 

圖6 即時監控畫面

透過電子信箱智慧型手機即時告知重要訊息

在進貨單完成分類以及存放之後,系統透過LabVIEW將該進貨單完成資訊如進貨單編號、貨品分類結果以及完成時間,透過手機簡訊以及電子信箱的方式通知管理者,讓管理者即時獲得資訊以便管理,簡訊以及電子信箱內容如圖7。

 

圖 7簡訊和信箱接收資料畫面

結論

本研究利用LabVIEW以及LabVIEW Vision Assistant軟體,透過影像視覺來決定機械手臂移動路徑以及抓取座標,更藉由影像視覺辨識貨品的不同進而決定貨品分類位置,一連串的動作都在LabVIEW裡連接並且整合再一起,並且具有人性化的人機介面讓監控更加容易。

 

未來展望

後續希望利用LabVIEW連接RFID,追加RFID的資料讀取以及寫入的功能,建立一套完善追蹤制度,可以防治製造者逃避責任,或是確保產品的品質與來向;連接多個鏡頭,多角度地檢測貨品的狀況是否有瑕疵、損壞,達到完整的檢查,並節省人力成本,提高檢測速度與準確性。同時亦可依據特定的情境需求加設特殊的儀器,以補足該情境之需求,增加該系統於各種不同的產業的適用性。

 

Author Information:

王 啟鑫
私立東海大學工業工程與經營資訊學系
Taiwan
stevenwang525@gmail.com

圖1 機械手臂(左)和視覺鏡頭(右)
圖 2. 系統架構圖
圖 3 系統硬體實體照片
圖4系統流程圖
圖 5視覺鏡頭座標與機械手臂座標換算流程
圖6 即時監控畫面
圖 7簡訊和信箱接收資料畫面