Systém VisionLab - nebojte sa strojového videnia

Kontrola kvality, automatická inšpekcia výrobkov alebo meranie pomocou kamier stále nie je  bežnou súčasťou aplikácii v priemyselnej automatizácii a zachováva si nádych určitej výnimočnosti. Riešeniam, ktoré používajú samostatné systémy strojového videnia, často zodpovedá aj cena daná takýmto riešením. Aj počítač v úlohe samostatnej riadiacej jednotky alebo ako rozhranie človek - stroj  bol svojho času exkluzívny a dnes je bežnou súčasťou priemyselnej automatizácie. Systémy, ktoré nahradia do určitej miery ľudské oko, sú stále viac a viac vyžadované zákazníkmi z oblasti priemyslu. Pomôcť tomuto trendu chce aj systém  VisionLab, ktorý pracuje ako rozšírenie systému pre rýchly vývoj priemyselných aplikácii reálneho času Control Web. Autorom systému VisionLab, tak ako aj Control Web sú Moravské Přístroje, a.s. Zlín. Spoločnosť MII Slovakia je distribútorom všetkých produktov Moravských přístrojov pre Slovenskú republiku.

VisionLab a Control Web.

Integrácia VisionLab so systémom Control Web, široko používaným pre vývoj vizualizačných aplikácii technologických procesov, riadenie v reálnom čase atď., prináša veľké množstvo výhod. Funkčnosť systému Control Web je veľmi rozsiahla a obsahuje rozhrania na komunikáciu s veľkým počtom vstupno/výstupných jednotiek, priemyselných automatov a komunikačných kariet. Rozhranie ovládačov pre Control Web je dobre zdokumentované a voľne prístupné pre firmy implementujúce ovládače svojich zariadení. Vďaka podpore štandardných protokolov (napr. OPC) a de-facto štandardov (napr. Modbus) dokáže Control Web komunikovať aj so zariadeniami, pre ktoré natívny ovládač nie je k dispozícii. Aplikácie v prostredí Control Web vytvárajú rozhranie človek/stroj, archivujú procesné dáta a zobrazujú ich históriu, strážia medzné hodnoty sledovaných veličín a upozorňujú obsluhu na ich prekročenie. Prostredníctvom SQL môžu aplikácie pristupovať k firemným databázam. Control Web dovoľuje veľmi jednoduchú tvorbu distribuovaných client-server aj peer-to-peer aplikácií. Súčasťou systému je aj HTTP server na prístup k aplikáciám prostredníctvom WWW prehliadačov. Aplikácia strojového videnia vytvorená v prostredí VisionLab  zabudovanádo systému Control Web môže všetky tieto vlastnosti využívať.

 

Analýza obrazu v prostredí VisionLab

VisionLab je prostredie, ktoré aplikácii dodá schopnosť  obraz analyzovať a skutočne mu „porozumieť“, t.j. získať z neho potrebnú informáciu. Obraz, ktorý spracováva sa samozrejme získava z kamery a môžete k nemu pripojiť kamery DataCam, ktorých výrobcom sú taktiež Moravské přístroje  alebo ľubovoľnú kameru s rozhraním WDM čo sú aj webové kamery, alebo kamery vo Vašich notebookoch. Množstvo a druh získavaných informácii veľmi závisí na cieľovej aplikácii. Napríklad aplikácia môže merať rozmery výrobkov, alebo kontrolovať prítomnosť či neprítomnosť častí výrobkov. Môže detekovať tvary a farby, zisťovať prítomnosť otvorov, počítať snímané elementy a triediť ich do kategórií, čítať čiarové alebo maticové kódy či texty na štítkoch, rozpoznávať evidenčné čísla vozidiel a pod. Možností je nepreberné množstvo a nedajú sa ani približne vypočítať. Vlastná analýza obrazov prebieha v jednotlivých krokoch. Kroky sa líšia funkčnosťou a tiež typom a počtom vstupných a výstupných parametrov. Práve jednotlivé kroky pre spracovanie obrazu tvoria jadro systému VisionLab. Tvorca aplikácie kroky vyberá z palety ponúkaných krokov a zostavuje ich do sekvencie podľa potrieb aplikácie.

Počet krokov ktoré sú k dispozícii pre vývojára systému strojového videnia sa blíži k číslu 200. Kroky sú rozdelené do hierarchických skupín a sú medzi nimi kroky od jednoduchých operácii s dátovými objektmi až po čítanie čiarových kódov, písma atď.

 

 

Obr. 1: Hierarchická štruktúra krokov systému VisionLab

Schopnosť reťaziť kroky spracovania obrazu je daná všetkým virtuálnym prístrojom typu kamera v systéme Control Web. Každý virtuálny prístroj má vlastnú sekvenciu krokov a pracuje úplne nezávisle na iných inštanciách prístrojov kamera. Každá inštancia virtuálneho prístroja môže, ale nemusí byť spojená s konkrétnou kamerou pripojenou k počítaču. V rámci každej inštancie virtuálneho prístroja je vytvorená množina dátových objektov systému VisionLab. Tieto dátové objekty uchovávajú stav pri každom prechode sekvencie krokov. Dátové objekty sú jednoznačne identifikované svojím názvom a môžu byť rôznych typov, počnúc základnými typmi na uchovanie  číselných, logických a textových hodnôt, cez typy uchovávajúce body, priamky, obdĺžniky a prstence, až po typ reprezentujúci celý obraz. A samozrejme môžete tieto dátové objekty systému VisionLab mapovať s premennými systému Control Web. Mapovať dokážete výsledky celej sekvencie spracovania obrazu a aj  vstupné a výstupné dátové objekty jednotlivých krokov.

 

VisionLab aplikáciám prináša:

  • ľahkú integráciu digitálnych obrazov a vizuálnu kontrolu v aplikáciách priemyselnej automatizácie
  • veľký výber výkonných a technicky vyspelých krokov pre prácu s obrazom
  • intuitívnu editáciu postupnosti krokov strojového videnia
  • podporu plne paralelného spracovania na viacerých jadrách a procesoroch
  • podporu masívneho paralelného spracovania obrazu grafickým procesorom
  • pokročilé úpravy obrazu vykonávané grafickým procesorom
  • prenos obrazových dát v počítačovej sieti
  • archiváciu obrazových dát v podobe snímok a videosúborov
  •  otvorené rozhranie na doplňovanie krokov strojového videnia
  • zdieľanie dát s aplikáciami systému Control Web
  • jednoduchú integráciu aplikácii strojového videnia a vizuálnej kontroly do väčších informačných a riadiacich systémov
  • „plug and play“ inštaláciu ovládačov kamier DataCam
  • možnosť používať kamery s inštalovanými WDM ovládačmi teda aj bežné webové kamery a kamery, ktoré sú súčasťou notebookov.

Niekoľko príkladov úspešného nasadenia systému VisionLab

VisionLab je na trhu od roku 2009. Od tej doby prešiel niekoľkými vývojovými krokmi a samozrejme je nasadený v priemyselnej automatizácii vo veľkom počte systémov.

V tomto článku spomenieme aspoň dva príklady nasadenia systému VisionLab v praxi. V uvedených príkladoch hrá podstatnú úlohu kvalita obrazu získavaná z kamier. Všetky uvedené úlohy boli riešené kamerami DataCam a osvetľovacími jednotkami DataLight, ktorých výrobcom sú Moravské přístroje. Ak by sa použili priemyselné kamery s obvyklou kvalitou obrazu, tieto úlohy by boli asi nerealizovateľné.

Systém vizuálnej inšpekcie teplotných snímačov na automatickej výrobnej linke

V zadaní je vyžadovaná vysoká presnosť merania geometrických rozmerov a pritom kamera, ktorá nesmie prekážať rotujúcemu karuselu, musí byť umiestnená vo väčšej vzdialenosti od kontrolovaného senzora, ktorý má veľmi malé rozmery. Vzhľadom na nutnosť nenarušiť manipulačný priestor v automate, ktorým je daná vzdialenosť kamery od kontrolovaného senzora nedal sa použiť telecentrický objektív. Problém vzdialenosti a presnej projekcie obrazu bez perspektívneho skreslenia bol vyriešený použitím objektívu s dlhou oh­niskovou vzdialenosťou. Zvolený objektív je konštruovaný pre veľké obrazové senzory, a tak využitím iba stredu obrazo­vého poľa sa dosiahla vynikajúca kvalita obrazu bez skreslenia geometrie a jasu a prakticky i bez farebných vád. Dlhé ohnisko objektívu má ale tiež jednu ne­výhodu - výrobný automat obsahuje množstvo elektromechanických, pneumatických a hydraulických akčných členov, ktoré pri svojej činnosti spôsobujú vibrácie a mecha­nické rázy. Preto je nutné nejako vyriešiť chvenie obrazu a stabilitu jeho pozície. Tento problém je účinne vyriešený kombináciou pou­žitých zábleskových osvetľovacích jednotiek DataLight a programovým ošetrením stability obrazu v prostredí VisionLab.

 

Obr. 2: Umiestnenie kamery na stroji, tak aby neprekážala žiadnemu mechanizmu automatu

Na presné meranie rozmerov súčiastok s využitím zadného svetla sa obvykle používajú čiernobiele kamery s vysokým rozlíšením. V tejto úlohe je potrebné nielen presne merať rozmery senzora, ale navyše aj čítať a detekovať farebnú potlač senzorov. Aby bola celá úloha riešiteľná len s jednou kamerou, bolo nutné použiť kameru farebnú. Táto jediná farebná kamera sníma sekvenčné snímky siluety senzora v zad­nom svetle a na záver snímok s predným bielym osvetlením na detekciu farebného označenia. Synchronizácia jednotlivých zábleskových osvetľovačov je riešená dátovým prepojením s kamerou. Zábleskové osvetlenie je tak intenzívne, že nie je nutné žiadne zakrývanie stroja pred okolitým svetlom a to aj napriek tomu, že použitá kamera je citlivá na celé spektrum viditeľného svetla. Činnosť osvetľovacích jednotiek pritom nie je v okolí stroja nijako rušivá ani pre obsluhu obťažujúca.

 

Obr. 3: Umiestnenie osvetľovacích jednotiek na automate

K vysokej kvalite zobrazenia siluety  a k presnému meraniu rozmerov prispieva aj schopnosť kamerových komponent systému Control Web vykonávať viacprechodovú adaptívnu interpoláciu farebnej mozaiky v grafickom procesore a v reálnom čase.

 

Systém strojového videnia zabezpečuje stopercentnú kontrolu vyrábaných senzorov a včas zachytí mimotolerančné kusy.

 

Optická detekcia kvality kontinuálnej výroby plastových dosiek

Kamerový inšpekčný systém umiestnený na valcovacej stolici prináša niekoľko technických zaujímavosti, ktoré môžu byť inšpiráciou pre technikov z odboru strojového videnia.

Máme tu úlohu, kde pomocou kamier musíme kontrolovať celú plochu plastovej dosky, ktorá opúšťa stroj. Doska môže mať niekoľko typov závad ale najkritickejšie sú zvlnenie povrchu a zrnká nečistôt vo vnútri materiálu. Tieto závady nesmú prejsť bez presnej identifikácie miesta a vyznačenia problémových miest na okrajoch dosky. Pritom je nutné rozpoznať zvlnenie veľkosti jednotiek mikrometrov a nečistoty veľké desatiny milimetra.

Už z tohto zadania sú zrejme požiadavky, s ktorými sa musí sys­tém vizuálnej inšpekcie vyrovnať. Predovšetkým potrebujeme získavať vysoko kvalitný a stabilný obraz s vysokým rozlíšením a bez akejkoľvek stratovej kompresie obrazu.

1)       Požiadavku na najvyššiu kvalitu obrazu nám splňujú monochromatické RAW dáta ka­mery DataCam s rozlíšením 1600x1200 pixlov a so šestnásťbitovou digitalizáciou.

2)       Plastová doska opúšťajúca stroj stroj má šírku 120 mm a pohybuje sa rýchlosťou cca 6 m/min. Aby sme  pokryli celú plochu dosky, sú použité 4 kamery vedľa seba a ich obraz sa mierne prekrýva.

 

Obr. 4: 4 kamery snímajú celú šírku dosky

3)       Snímaný materiál sa nepretržite pohy­buje. Musíme teda pracovať s veľmi krátkymi expozičnými časmi. Táto požiadavka kladie vysoké nároky na intenzitu osvetlenia. špeciálne na túto zákazku bola skonštruovaná osvetľovacia lišta osadená vysokovýkonnými LED s bielym svetlom. Osvetlenie je dostatočne intenzívne a pritom prakticky nezvyšuje tepelnú záťaž kontrolovaného plastového materiálu.

4)       Surové dáta, ktoré kamery poskytujú predstavujú značnú záťaž aj pre tak výkonný komunikačný systém, akým je USB zbernica. Pripojenie je navrhnuté tak, aby každá kamera bola pripojená na samostatný koreňový hub na základnej doske. Objem surových dát z kamier predstavuje niekoľko desiatok MB za sekundu a to je nad možnosťami jedného USB portu. Pripojenie kamery na samostatný port je pre plynulosť behu aplikácie podstatnou požiadavkou.

5)       Počítač si musí poradiť nielen s mo­hutným tokom dát, ale je nutné všetky obrazové dáta spracovať v reálnom čase, ktorý zodpovedá produkčnému tempu stroja. Kroky systému strojového videnia VisionLab umožňujú rozdeľovať výpočty medzi viacero jadier CPU. Preto je počítač osadený výkonným šesťjadrovým pro­cesorom. Počítač zvláda všetky výpočty Fourierových transformácii a väčší počet jadier je tiež prínosom pre plynulosť dátového toku cez USB.

6)       Systém dokáže detekovať zrnka nečistôt, ktoré sú menšie, ako je obrazový bod kamery. Aby toto bolo možné, musí sa obraz spracovávať pomocou výpočtovo náročných filtrov. Pre tento účel je počítač vybavený grafickým adaptérom s grafickým procesorom nVidia, kde sa obraz spracováva paralelne –- GPU GF590GTX obsahuje 1024 jadier a dátový tok obrazových dát môže dosiahnuť až 327 GB/sec. Systém obsahuje niekoľko krokov, ktoré výkon súčasných grafických procesorov dokážu využiť. V aplikáciách, kde je záťaž GPU vysoká, sa táto skutočnosť takmer neprejavuje ani na zaťaženosti CPU, ani na odozvách počítače na povely obsluhy.

 

Obr 5: Obrazovka s výsledkami merania

 

Záver

Systémy strojového videnia na rozdiel od klasických automatizačných úloh vyžadujú veľkú pozornosť pri príprave a návrhu systému, výberu použitých zariadení  a posúdenie realizovateľnosti projektu. Je to dané tým, že vždy pracujeme s obrazom, kde sa môžu meniť svetelné podmienky a tým pádom aj kvalita získaného obrazu. Analýza získaného obrazu z kamery na prvý pohľad triviálne riešiteľná človekom nemusí byť až taká jednoduchá pre počítačové riešenie, preto je fáza posúdenia riešiteľnosti a návrhu systémových prostriedkov rozhodujúca pre dosiahnutie plánovaného cieľa. Na druhej strane úspešne realizované aplikácie so systémom VisionLab ukazujú, že aj na prvý pohľad nerealizovateľné úlohy sa dajú zvládnuť, a preto nebojte sa systémov strojového videnia, len venujte dostatočnú pozornosť návrhu systému a poraďte sa s odborníkmi, ktorí majú skúsenosti s aplikáciami v tejto oblasti.