據(jù)麥姆斯咨詢報(bào)道,物聯(lián)網(wǎng)及雙目視覺專家江蘇鉅芯集成電路技術(shù)股份有限公司,近日在2017年香港秋季電子展發(fā)布了一款智能雙目立體視覺系統(tǒng),以及業(yè)內(nèi)首顆智能雙目立體視覺芯片eagleye100。該系統(tǒng)具有全球最小的基線長度(Baseline,雙目的目距),僅為8cm,其實(shí)時(shí)高精度的探測距離達(dá)到100m,深度分辨率最高可達(dá)720P,高速深度計(jì)算的輸出延時(shí)小于3ms,是一款小尺寸、遠(yuǎn)距離、高精度的實(shí)時(shí)智能雙目立體視覺系統(tǒng)。目前的主要目標(biāo)應(yīng)用包括:ADAS(先進(jìn)駕駛輔助系統(tǒng))和自動(dòng)駕駛、無人機(jī)、工業(yè)自動(dòng)化、AR(增強(qiáng)現(xiàn)實(shí))/VR(虛擬現(xiàn)實(shí))、倉儲(chǔ)機(jī)器人、掃地機(jī)器人、園藝機(jī)器人等各類智能機(jī)器人等。
鉅芯智能雙目立體視覺芯片eagleye100
香港秋季電子展的鉅芯展位圍滿了咨詢雙目立體視覺技術(shù)的人群
“鉅芯的雙目技術(shù)領(lǐng)先整個(gè)產(chǎn)業(yè)一代,我們專注于將FPGA(現(xiàn)場可編程門陣列)和外圍電路集成為專用雙目視覺芯片eagleye100,大大降低了成本,提高了集成度和可靠性,”江蘇鉅芯集成電路技術(shù)股份有限公司董事長兼總經(jīng)理黃保黔介紹道,“系統(tǒng)最大100m的高精度實(shí)時(shí)探測距離,已經(jīng)比肩或超過國際市場上的主要領(lǐng)導(dǎo)廠商,國內(nèi)友商的最大探測距離一般為50~80m。對于一輛以80km/h行駛的車輛來說,20m的探測距離優(yōu)勢,就能為司機(jī)和ADAS系統(tǒng)帶來約1秒的反應(yīng)時(shí)間,有效提高道路交通的安全性!
鉅芯智能雙目立體視覺系統(tǒng)與市場主流廠商的參數(shù)對比
雙目視覺將成為未來機(jī)器視覺技術(shù)的風(fēng)向標(biāo)
無論是汽車、無人機(jī)、機(jī)器人還是AR/VR等智能移動(dòng)機(jī)械或設(shè)備,要實(shí)現(xiàn)自主運(yùn)行和導(dǎo)航,首先要解決的便是感知周圍的環(huán)境,尤其是3D深度信息,實(shí)現(xiàn)即時(shí)定位和地圖構(gòu)建(SLAM)。因此,SLAM是實(shí)現(xiàn)智能機(jī)械自主運(yùn)行、壁障和路徑規(guī)劃的基礎(chǔ)。目前主流的SLAM方案主要包括,激光雷達(dá)(LiDAR)和視覺類,而視覺類又可分為單目視覺和雙目(多目)視覺方案。激光雷達(dá)的優(yōu)點(diǎn)是測量距離遠(yuǎn)、精度高、速度快,但其最大的缺點(diǎn)是目前的成本太高昂,另外,其體積和重量較大,對物體的識別率較差。低成本的微型固態(tài)激光雷達(dá)目前還沒有大規(guī)模量產(chǎn)。
視覺類SLAM主要包括單目和雙目兩種方案,兩者的共同特點(diǎn),是通過攝像頭采集圖像數(shù)據(jù),然后利用圖像數(shù)據(jù)得到距離信息。但是,單目方案的測距原理,是先通過圖像與樣本數(shù)據(jù)匹配進(jìn)行目標(biāo)識別,再通過目標(biāo)在圖像中的大小去估算目標(biāo)距離。因此,單目方案需要建立并不斷維護(hù)一個(gè)龐大的樣本特征數(shù)據(jù)庫,不斷進(jìn)行機(jī)器學(xué)習(xí)和訓(xùn)練,以保證首先對目標(biāo)進(jìn)行準(zhǔn)確識別,對不規(guī)則物體或缺乏樣本數(shù)據(jù)的物體,單目方案就無能為力了。
“相比于單目視覺,雙目視覺系統(tǒng)模擬了人眼及眾多生物的視覺處理方式,利用雙攝像頭從不同角度對同一目標(biāo)成像,從而獲取視差信息,利用三角測距原理,僅通過計(jì)算左右“兩眼”獲取的兩幅圖像對應(yīng)點(diǎn)間的位置偏差,就可以實(shí)時(shí)還原視覺場景中每一點(diǎn)的真實(shí)三維幾何信息,”黃總介紹道,“因此,雙目視覺方案沒有識別率的問題,也無需建立和維護(hù)龐大的樣本庫,分辨率和精度也更高!
雙目視覺有望在自動(dòng)駕駛領(lǐng)域彎道超車
2016 年以前,基本上所有的高端車型都配備了 Mobileye(今年3月被英特爾以153億美元收購)的單目視覺系統(tǒng),比如沃爾沃、奔馳、寶馬等。但近幾年,包括2016款奔馳S級和E級、2016款寶馬7系、2017款寶馬5系、斯巴魯以及捷豹路虎的多款車型,都已經(jīng)從單目改成了雙目方案。此外,在搭載Mobileye單目ADAS系統(tǒng)的特斯拉Model S發(fā)生事故之后,特斯拉也選擇放棄了與Mobileye的合作,轉(zhuǎn)而采用了雙目或多目ADAS方案。
同時(shí),近年各國政府對于汽車主動(dòng)安全功能的重視程度不斷提升,這也為雙目ADAS方案供應(yīng)商帶來了極大利好。
不同國家/地區(qū)的車用主動(dòng)安全功能的啟用時(shí)間
在歐美日相繼將主動(dòng)安全功能加入新車安全評價(jià)標(biāo)準(zhǔn)后,中國新車評價(jià)規(guī)程(C-NCAP)也宣布將在2018年把車道偏離預(yù)警、碰撞預(yù)警和AEB(自動(dòng)緊急制動(dòng))等功能列為加分項(xiàng),并在2020年將這些指標(biāo)列為重要評測項(xiàng)。屆時(shí)沒有這些功能的新車C-NCAP得分將會(huì)較現(xiàn)在大幅下降。
<iframe data-src="https://v.qq.com/iframe/preview.html?vid=v1326hx9llp&width=500&height=375&auto=0" src="https://v.qq.com/iframe/player.html?vid=v1326hx9llp&width=500&height=375&auto=0" width="500" height="375" class="center-iframe" style="border-width:0px;margin:0px auto;padding:0px;display:block;">
鉅芯智能雙目視覺ADAS道路測試
鉅芯雙目視覺深度圖與現(xiàn)場實(shí)景圖對比
對象監(jiān)測跟蹤
鉅芯智能雙目視覺系統(tǒng),能夠?qū)崟r(shí)監(jiān)測并跟蹤汽車、行人、自行車以及各種異形車輛,實(shí)時(shí)精確探測汽車與目標(biāo)之間的距離,并計(jì)算可能的碰撞時(shí)間,實(shí)現(xiàn)車輛的AEB、ACC、LDW、TSR等先進(jìn)的駕駛輔助功能。
對象監(jiān)測跟蹤
可行駛區(qū)域監(jiān)測
可行駛區(qū)域檢測是ADAS及自動(dòng)駕駛領(lǐng)域中的下一代功能。目前全球所有該功能的演示都是簡單的高速場景,都還無法做到復(fù)雜場景下準(zhǔn)確的全范圍可行駛區(qū)域檢測。鉅芯智能雙目視覺系統(tǒng)在復(fù)雜場景下具備明顯優(yōu)勢,能夠結(jié)合場景理解和像素級深度,實(shí)時(shí)檢測全類別的障礙物,輸出車輛當(dāng)前的可行駛區(qū)域,實(shí)現(xiàn)全范圍AEB。
車道分隔物監(jiān)測
可行駛區(qū)域監(jiān)測
高精度地圖生成
鉅芯智能雙目視覺系統(tǒng)能夠自動(dòng)檢測并識別車道線、柵欄、路肩、交通標(biāo)志的空間位置及尺寸,自動(dòng)移除車輛、行人等道路動(dòng)態(tài)對象,生成厘米級高精度矢量地圖(車道寬度10cm內(nèi)誤差)。
高精度地圖生成
雙目視覺逐漸成為無人機(jī)標(biāo)配
一直以來,無人機(jī)的距離感知和智能壁障都是很大的難題。之前的無人機(jī)大多采用超聲波雷達(dá)、紅外探測等方式來實(shí)現(xiàn)障礙物探測和距離感知,但是這些方案往往功耗較大,而無人機(jī)對重量和續(xù)航又比較敏感,因此很難進(jìn)行長距離的探測。而雙目視覺系統(tǒng)的原理優(yōu)勢,令其在光線良好的情況下,具有比上述方案更廣闊的距離探測能力,以及更直觀的成像,能夠提供更智能的飛行操作。因此,大疆、昊翔、零度、極飛、博瑞空間以及飛馬等無人機(jī)主流廠商都在近期相繼推出了基于雙目視覺系統(tǒng)的產(chǎn)品。
鉅芯智能雙目視覺系統(tǒng)在無人機(jī)應(yīng)用中,能夠通過實(shí)時(shí)高速計(jì)算,提供基于深度視覺的自身位置和姿態(tài)計(jì)算,實(shí)現(xiàn)精準(zhǔn)的懸停和定高飛行;還能夠探測無人機(jī)周圍的動(dòng)態(tài)及靜態(tài)障礙物,包括電線、樹枝等細(xì)小的障礙物,提供實(shí)時(shí)的可飛行區(qū)域探測,實(shí)現(xiàn)無人機(jī)SLAM和自動(dòng)壁障功能。
鉅芯雙目視覺系統(tǒng)無人機(jī)應(yīng)用主要參數(shù)(可根據(jù)需求定制)
敬請期待下篇:“鉅芯智能雙目視覺芯片在無人機(jī)中的應(yīng)用”。
關(guān)于鉅芯
江蘇鉅芯集成電路技術(shù)股份有限公司是一家科技創(chuàng)新型的半導(dǎo)體集成電路設(shè)計(jì)公司,是一個(gè)年輕、有活力、又擁有成熟技術(shù)沉淀的優(yōu)秀團(tuán)隊(duì)。公司核心骨干來自歐美著名廠商,包括芯片設(shè)計(jì)、芯片制造企業(yè)的技術(shù)精英。公司始創(chuàng)于2006年,先后在無錫和上海形成兩個(gè)研發(fā)中心,在深圳形成了較為成熟的市場體系。通過幾年的技術(shù)整合和技術(shù)積累,鉅芯已完成了幾大領(lǐng)域的芯片設(shè)計(jì)與研發(fā),目前致力于雙目視覺芯片、多媒體處理芯片、MCU微控制芯片、RF射頻芯片、電源驅(qū)動(dòng)芯片的設(shè)計(jì)與開發(fā)以及系統(tǒng)集成與系統(tǒng)平臺的建設(shè)與開發(fā)。
本文轉(zhuǎn)載搜狐新聞網(wǎng)
經(jīng)省新冠肺炎疫情防控指揮部研究決定,全省各級各類學(xué)校學(xué)生自4月27日起分期、分批、錯(cuò)峰返校。 一、基礎(chǔ)教育階段學(xué)生返校安排4月27日,全省高三、初三年級學(xué)生返校。5月11日后,各地根據(jù)疫情防控情況分期、分批、錯(cuò)峰安排中小學(xué)其他年級學(xué)生返校。幼兒園幼兒、特殊教育學(xué)校學(xué)生返園(校)時(shí)間另行研究確定。 幼兒園幼兒返園前,校外培訓(xùn)機(jī)構(gòu)..
掃錕斤拷錕轎拷錕斤拷注微錕斤拷