一、工業(yè)相機(jī)編程模型和流程
不同的工業(yè)相機(jī)提供不同的編程接口(SDK),盡管不同接口不同相機(jī)間編程接口各不相同,他們實(shí)際的API結(jié)構(gòu)和編程模型很相似,了解了這些再對(duì)工業(yè)相機(jī)編程就很簡單了。
DMA技術(shù):
DMA是一種高速的數(shù)據(jù)傳輸操作,允許在外部設(shè)備和存儲(chǔ)器之間直接讀寫數(shù)據(jù),既不通過CPU,也不需要CPU干預(yù)。整個(gè)數(shù)據(jù)傳輸操作在一個(gè)稱為"DMA控制器"的控制下進(jìn)行的。CPU除了在數(shù)據(jù)傳輸開始和結(jié)束時(shí)做一點(diǎn)處理外,在傳輸過程中CPU可以進(jìn)行其他的工作。這樣,在大部分時(shí)間里,CPU和輸入輸出都處于并行操作。因此,使整個(gè)計(jì)算機(jī)系統(tǒng)的效率大大提高。
對(duì)于工業(yè)相機(jī)來說,當(dāng)CMOS或CCD芯片曝光然后將數(shù)據(jù)轉(zhuǎn)到相機(jī)緩存后,這時(shí)候DMA會(huì)負(fù)責(zé)將緩存中數(shù)據(jù)保存到硬盤上指定位置,正好滿足相機(jī)高速大數(shù)據(jù)的傳輸。一般都會(huì)使用DMA來完成實(shí)時(shí)的數(shù)據(jù)采集和保存。
多數(shù)時(shí)候,DMA控制器存在各種接口的圖像采集卡中,包括1394/GigE/USB/Camera Link等,這些采集卡有自己的時(shí)間控制單元完成和相機(jī)曝光的同步,并控制DMA的存取行為。

智能相機(jī)一般由圖像采集單元、圖像處理單元、圖像處理軟件、網(wǎng)絡(luò)通信裝置等構(gòu)成,各部分的功能如下:
1.圖像采集單元:在智能相機(jī)中,圖像采集單元相當(dāng)于普通意義上的CCD/CMOS相機(jī)和圖像采集卡。它將光學(xué)圖像轉(zhuǎn)換為模擬/數(shù)字圖像,并輸出至圖像處理單元。
2.圖像處理單元:圖像處理單元類似于圖像采集、處理卡。它可對(duì)圖像采集單元的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)的存儲(chǔ),并在圖像處理軟件的支持下進(jìn)行圖像處理。
3、圖像處理軟件:圖像處理軟件主要在圖像處理單元硬件環(huán)境的支持下,完成圖像處理功能。如幾何邊緣的提取、Blob、灰度直方圖、OCV/OVR、簡單的定位和搜索等。在智能相機(jī)中,以上算法都封裝成固定的模塊,用戶可直接應(yīng)用而無需編程。
4、網(wǎng)絡(luò)通信裝置:網(wǎng)絡(luò)通信裝置的智能相機(jī)的重要組成部分,主要完成控制信息、圖像數(shù)據(jù)的通信任務(wù)。智能相機(jī)一般均內(nèi)置以太信裝置,并支持多種標(biāo)準(zhǔn)網(wǎng)絡(luò)和總線協(xié)議,從而使多臺(tái)智能相機(jī)構(gòu)成更大的機(jī)器視覺系統(tǒng)。
機(jī)器視覺智能相機(jī)與工業(yè)相機(jī)區(qū)別,簡言之:智能相機(jī)是一種高度集成化的微小型機(jī)器視覺系統(tǒng);而工業(yè)相機(jī)是機(jī)器視覺系統(tǒng)的組成部分之一

如圖,每個(gè)相機(jī)可能有不同的流采集器(Grab Streamer)或同一接口上安裝了多個(gè)相機(jī)(也對(duì)應(yīng)多個(gè)流采集器),對(duì)應(yīng)多個(gè)通道(Channel)。對(duì)每個(gè)通道來說,在實(shí)際采集時(shí)數(shù)據(jù)傳輸實(shí)際上是拆分成如圖的數(shù)據(jù)包(Packet) RawData形式傳遞的,內(nèi)存中存儲(chǔ)形式為一維數(shù)組,在每一幀圖像的起始存在不同的標(biāo)識(shí)表明一幀的開始和結(jié)束,每一個(gè)Packet都有標(biāo)識(shí)表明當(dāng)前所屬的通道。為了顯示圖像,用戶程序需要重新將一維數(shù)組數(shù)據(jù)拼裝成圖像形式,這一過程由用戶完成,通??山柚鶲penCV或MIL等圖像處理包完成該操作。

2、疫情之下,醫(yī)療機(jī)器人臨危受命
COVID-19的爆發(fā)進(jìn)一步了“醫(yī)療服務(wù)機(jī)器人”的需求,然而市場(chǎng)上現(xiàn)有大部分服務(wù)機(jī)器人智能化程度并不高。埃爾森的3D視覺定位系統(tǒng),賦予機(jī)器人“眼睛”和AI的“大腦”,讓機(jī)器人具有立體的視覺感知能力。
該系統(tǒng)使用Basler工業(yè)相機(jī),搭載Sony Pregius IMX174芯片擁有極高的信噪比,實(shí)現(xiàn)了機(jī)器人對(duì)患者特定部位的精準(zhǔn)定位,配合AGV和機(jī)械手,可穿梭在無人化病房區(qū)域內(nèi),替代醫(yī)護(hù)人員完成測(cè)溫、生命體征監(jiān)護(hù)、給藥治療等更多工作,可大幅減輕醫(yī)護(hù)人員工作量,減少醫(yī)護(hù)人員感染風(fēng)險(xiǎn)。
面對(duì)未來,Basler China和ALSONTECH(埃爾森智能科技)將繼續(xù)攜手研發(fā)更加多樣的智能產(chǎn)品,為醫(yī)療、物流、汽車、3C、生產(chǎn)制造等行業(yè)提供成熟、的機(jī)器人3D視覺方案,以的視覺技術(shù)理念、行業(yè)的產(chǎn)品性能,攜手將未來“智能生活”、“智能生產(chǎn)”變成觸手可及的現(xiàn)實(shí)。
-/hbahbeb/-