一、理解嵌入式視覺組件和系統(tǒng)配置
嵌入式視覺是一項(xiàng)令人興奮的新技術(shù),在廣泛的行業(yè)中具有難以置信的潛力,只是在近期才通過視覺和處理組件的小型化而成為可能。從廣義上講,嵌入式視覺系統(tǒng)將圖像采集和圖像處理功能結(jié)合在一起。然而,嵌入式視覺系統(tǒng)有許多不同的配置。
在較基本的層次上,嵌入式視覺系統(tǒng)包括傳感器或攝像機(jī)模塊、標(biāo)準(zhǔn)接口和某種形式的處理體系結(jié)構(gòu)。對于任何嵌入式視覺系統(tǒng),對于每一個(gè)組件都有各種各樣的選擇–選擇正確的組件取決于理解設(shè)計(jì)、性能和成本權(quán)衡。
要了解嵌入式視覺系統(tǒng)是如何工作的,重要的是了解處理體系結(jié)構(gòu)、處理器類型、標(biāo)準(zhǔn)接口以及視覺和成像模塊如何創(chuàng)建一個(gè)完整的嵌入式系統(tǒng)。
二、嵌入式視覺處理體系結(jié)構(gòu)
強(qiáng)大的、高度緊湊的處理能力是嵌入式視覺的促成器–小型處理平臺現(xiàn)在可以完成傳統(tǒng)上需要大型、笨重計(jì)算機(jī)的工作。對于嵌入式視覺系統(tǒng),處理組件可以采取幾種不同的配置,包括系統(tǒng)上芯片(SoC)、系統(tǒng)上的模塊(Som)、單板計(jì)算機(jī)(SBC)和完全定制的設(shè)計(jì)。
SoC是一種處理結(jié)構(gòu),中央處理器(CPU)、圖形處理單元(GPU)、接口控制器等都位于單個(gè)芯片上。這項(xiàng)技術(shù)的發(fā)展主要是由大型移動(dòng)設(shè)備制造商推動(dòng)的,因?yàn)殚_發(fā)SoC的成本可能高達(dá)數(shù)百萬甚至數(shù)十億美元。
三、緊湊圖像處理是嵌入式視覺技術(shù)的核心
SOMS實(shí)際上包含SoC,但也包括RAM、電源管理和總線系統(tǒng)以及SoC的圖像處理能力。SOMS較常與帶有插頭連接器的載波板一起使用,用于電源或網(wǎng)絡(luò)連接。這些系統(tǒng)幫助公司克服了SoC開發(fā)的高昂成本,同時(shí)為開發(fā)人員提供了很大的靈活性,可以根據(jù)他們的需要調(diào)整系統(tǒng)。
SBCS本質(zhì)上是集成到帶有一系列外圍設(shè)備連接器的單一電路板上的SOMS。它們是Soms和載體板在一起-這與成本和性能的權(quán)衡。SBCS的初始成本較低,易于實(shí)現(xiàn),但由于其預(yù)先集成的特性,它們沒有很大的靈活性來適應(yīng)特定的應(yīng)用程序。
完全定制的處理設(shè)計(jì)并不常見–它們基本上是為一個(gè)特定應(yīng)用程序定制的SBCS。通常,當(dāng)一家公司確定其嵌入式視覺應(yīng)用程序較便宜的選項(xiàng)是開發(fā)自己的SBC時(shí),就會(huì)出現(xiàn)這種情況。定制的嵌入式處理體系結(jié)構(gòu)具有成本效益,因?yàn)闆]有不必要的組件,但由于它們是為特定目的而構(gòu)建的,它們在成像功能方面幾乎沒有任何靈活性。
在嵌入式視覺系統(tǒng)中有兩種主要的處理體系結(jié)構(gòu)。即使在每一種情況下,不同制造商的專有技術(shù)在功能上也有差異。盡管結(jié)構(gòu)多樣,但緊湊的圖像處理是嵌入式視覺技術(shù)的基礎(chǔ)。
四、嵌入式視覺處理器的類型
嵌入式視覺系統(tǒng)的圖像處理能力不僅取決于整體處理體系結(jié)構(gòu),還取決于所使用處理器的類型。雖然有幾種不同類型的圖像處理器,但主要的兩種類型是圖形處理單元(GPU)和現(xiàn)場可編程門陣列(FPGAs)。
GPU被廣泛應(yīng)用于嵌入式視覺系統(tǒng)中,因?yàn)樗鼈兡軌蛱峁┐罅康牟⑿杏?jì)算潛力,尤其是加速處理像素?cái)?shù)據(jù)的部分。通用GPU(GPU)是較常見的形式之一,因?yàn)樗鼈兪菫闈M足各種應(yīng)用程序的功率限制而構(gòu)建的。
五、FPGA和GPU在大多數(shù)嵌入式視覺系統(tǒng)中都有發(fā)現(xiàn)。
所有GPU都利用軟件進(jìn)行成像算法,這有其優(yōu)點(diǎn)和缺點(diǎn)。使用GPU,調(diào)整或完全改變成像功能就像改變系統(tǒng)的軟件指令一樣容易。這為一個(gè)系統(tǒng)執(zhí)行多個(gè)成像功能提供了較大的靈活性。另一方面,軟件總是比硬件慢-在GPU中延遲是多個(gè)數(shù)量級的。
近年來,F(xiàn)PGA一直受到人們的青睞,原因有幾點(diǎn)。首先,它們的主要優(yōu)點(diǎn)是延遲程度低–它們是算法的硬件表示,使它們更快。FPGA的能源效率也要高得多,盡管它們提供了較高的處理潛力,具有數(shù)萬億倍累加/秒的計(jì)算性能(TERA-Mac)。FPGA可以同時(shí)加速計(jì)算機(jī)視覺流水線的多個(gè)部分–GPU不能。
FPGA處理器的主要缺點(diǎn)是缺乏GPU的靈活性。為另一個(gè)成像任務(wù)準(zhǔn)備FPGA比在GPU中調(diào)整算法要花費(fèi)更長的時(shí)間。然而,在過去的幾年里,隨著開發(fā)人員引入具有預(yù)先配置的接口塊的開源計(jì)算機(jī)視覺庫,以更快、更容易地進(jìn)行更改,這種情況一直在改變。
當(dāng)然還有其他類型的圖像處理器,包括專用集成電路(ASIC)和數(shù)字信號處理器(DSP),GPU和FPGA是較流行的兩種。兩者都有各自的優(yōu)點(diǎn)和缺點(diǎn),這取決于如何將它們部署到嵌入式VISION應(yīng)用程序中。
六、嵌入式視覺標(biāo)準(zhǔn)接口
傳感器和圖像處理器之間的連接非常重要–如果選擇不當(dāng),可能會(huì)成為性能的瓶頸。與其他嵌入式視覺組件一樣,嵌入式接口也有多種可能性。
USB3.0通常是一些嵌入式視覺系統(tǒng)的簡單即插即用解決方案,就像它們適用于傳統(tǒng)的機(jī)器視覺系統(tǒng)一樣。然而,它們很少采用緊湊的設(shè)計(jì),這立即排除了它們作為許多空間需求小的嵌入式視覺系統(tǒng)設(shè)計(jì)的解決方案。
七、圖像數(shù)據(jù)傳輸?shù)漠a(chǎn)品選擇正在增加
平撓性電纜,如那些遵循MIPI CSI-2標(biāo)準(zhǔn)的MIPI聯(lián)盟,是一個(gè)更強(qiáng)大,緊湊的解決方案,相機(jī)集成。然而,這些類型的電纜需要每個(gè)單獨(dú)的組件在一個(gè)板級,以適應(yīng)平撓性電纜的能力。這可能會(huì)變得昂貴,而扁平的撓性電纜通常長度不能超過20厘米–對于某些應(yīng)用來說,這是兩個(gè)主要的缺點(diǎn)。
一種更可靠的嵌入式視覺接口解決方案之一是低壓差分信號(LVDS),其中電纜可以有幾米長。LVDS電纜通常與FPGA處理器一起使用,用于集成和調(diào)整系統(tǒng)特定的讀取例程.LVDS電纜不使用標(biāo)準(zhǔn)化的插頭或數(shù)據(jù)傳輸協(xié)議,這意味著除非有公開記錄的傳輸協(xié)議,否則集成成本將很高。
在任何嵌入式視覺系統(tǒng)中,傳感器與處理器之間的數(shù)據(jù)傳輸是一個(gè)至關(guān)重要的過程。再一次,嵌入式系統(tǒng)可以使用幾個(gè)潛在的接口,每個(gè)接口都有各自的成本和性能權(quán)衡。
八、嵌入式視覺成像模塊
嵌入式視覺系統(tǒng)的末尾一塊是成像模塊。通常,這些模塊可以作為傳感器模塊或相機(jī)模塊使用。兩者之間有一個(gè)微妙的差別,對整個(gè)成像系統(tǒng)都有重大影響。
傳感器模塊幾乎沒有處理能力。它們將原始圖像數(shù)據(jù)發(fā)送給主機(jī)處理器,用于諸如降噪或特定于應(yīng)用程序的功能,如面部識別。對于嵌入式視覺系統(tǒng)來說,傳感器模塊通常是一種精簡的、成本效益高的方法.然而,它們?nèi)狈`活性–每次使用新傳感器時(shí),都須編寫新的驅(qū)動(dòng)程序。
九、成像模塊是通過處理能力來區(qū)分的。
相機(jī)模塊,另一方面,包括一些處理能力和它的圖像捕捉責(zé)任。這減輕了主機(jī)處理器的處理工作量,同時(shí)消除了每次更換成像模塊時(shí)對新驅(qū)動(dòng)程序的需求,從而使開發(fā)人員能夠?qū)W⒂趹?yīng)用軟件。
相機(jī)模塊,通常利用FPGA,可以更容易地集成比傳感器模塊,但初始成本可以大大高于傳感器模塊。相機(jī)模塊近期出現(xiàn)作為嵌入式視覺周邊,并已證明是一種靈活的成像解決方案。
成像模塊,無論是傳感器模塊還是攝像機(jī)模塊,都在成像過程中起著至關(guān)重要的作用。每種類型的處理過程都會(huì)影響到整體圖像質(zhì)量、能源消耗和成本。
十、嵌入式視覺系統(tǒng)正在變得越來越小、更便宜和更先進(jìn)
嵌入式視覺系統(tǒng)有多種配置,但基本組件一般是相同的。嵌入式系統(tǒng)的設(shè)計(jì)通常是流線型的,包括處理架構(gòu)和處理器、相機(jī)接口和成像模塊。
理解嵌入式視覺系統(tǒng)的組件和系統(tǒng)配置是理解整個(gè)嵌入式視覺系統(tǒng)是如何工作的第一步,以及它如何轉(zhuǎn)換部署在其中的應(yīng)用程序。這似乎很容易想象一個(gè)系統(tǒng),有相機(jī),電纜和處理器;但這項(xiàng)技術(shù)是非常復(fù)雜的。
近期,處理器和成像組件的技術(shù)進(jìn)步才使嵌入式系統(tǒng)在商業(yè)上可行??紤]到嵌入式視覺系統(tǒng)在眾多行業(yè)中的巨大潛力,研發(fā)者們一直致力于使嵌入式視覺系統(tǒng)比以往任何時(shí)候都更小、更便宜、更先進(jìn)。