Автономды өздігінен жүретін көлік жол белгілерін таниды. Компьютерлік көру және жасанды интеллект ... [+]
Getty
Көру - адамның күшті сенсорлық кірісі. Ол біз үшін әдеттегідей күрделі тапсырмалар мен процестерді орындауға мүмкіндік береді. Көлік пен ауыл шаруашылығынан робототехника мен медицинаға дейінгі әртүрлі қолданбаларда AoT™ (заттардың автономиясы) ұлғаюымен камералардың, есептеуіш техниканың және машиналық оқытудың адамға ұқсас көру мен танымды қамтамасыз етудегі рөлі маңызды бола түсуде. Компьютерлік көру академиялық пән ретінде 1960 жылдары, ең алдымен жасанды интеллект (AI) және машиналық оқытудың дамып келе жатқан саласымен айналысатын университеттерде пайда болды. Ол келесі төрт онжылдықта жартылай өткізгіштер мен есептеуіш технологияларда айтарлықтай жетістіктерге қол жеткізілгендіктен күрт алға жылжыды. Терең оқытудағы және жасанды интеллекттегі соңғы жетістіктер нақты уақыт режимінде, қоршаған ортаны қабылдау және тануды төмен кідіріспен қамтамасыз ету үшін компьютерлік көруді қолдануды одан әрі жеделдетіп, әртүрлі қолданбаларда автономияны, қауіпсіздікті және тиімділікті қамтамасыз етті. Көлік - бұл айтарлықтай пайда әкелген саланың бірі.
LiDAR (жарықты анықтау және диапазон) – объектінің айналасындағы 3D ортасын анықтау үшін лазерлерді пайдаланатын белсенді оптикалық кескіндеу тәсілі. Бұл компьютерлік көру шешімдері (таза сыртқы жарыққа негізделген және 3D қабылдау үшін лазерлерді пайдаланбайтын) бұзуға тырысатын технологиялардың бірі. Жалпы тақырып адам драйверлеріне тереңдік қабылдау үшін LiDAR қажет емес, сондықтан машиналарға да қажет емес. Қазіргі коммерциялық L3 автономды жүргізу мүмкіндіктері (нақты географиялар мен ауа-райы жағдайында толық автономия, драйвер бірнеше секунд ішінде басқаруға дайын) бүгінгі өнімдер LiDAR пайдаланыңыз. Таза көрініске негізделген әдістер әлі де бұл мүмкіндікті коммерциялық түрде ұсына алмады.
ХАБАРЛАНДЫРУ
Tesla
Phiar, Helm.ai және NODAR сияқты басқа компаниялар сонымен қатар компьютерлік көру жолын іздейді. NODAR патенттелген машиналық оқыту алгоритмдері арқылы камераның тураланбауы мен діріл әсерлерін реттеуді үйрену арқылы стерео камера жүйелерінің бейнелеу ауқымын және 3D қабылдауын айтарлықтай кеңейтуді мақсат етеді. Жақында ол 12 миллион доллар жинады өзінің жетекші өнімі болып табылатын Hammerhead™ өнімін өндіру үшін, ол «қолданбалы» автокөлік камералары мен стандартты есептеу платформаларын пайдаланады.
Құны мен өлшемінен басқа, LiDAR-ды қолдануға қарсы жиі дәлел - оның камералармен салыстырғанда шектеулі ауқымы мен ажыратымдылығы. Мысалы, 200 м диапазонды және 5-10 М нүкте/секундты (разрядқа ұқсас PPS) LiDAR құрылғылары бүгінде қол жетімді. 200 м қашықтықта кірпіш немесе шина сынықтары сияқты шағын кедергілер өте аз нүктелерді тіркейді (мүмкін 2-3 тік бағытта және 3-5 көлденең бағытта), бұл нысанды тануды қиындатады. Ұзақ диапазондарда заттар одан да өрескел болады. Салыстыру үшін, 30 Гц жиілікте жұмыс істейтін стандартты мегапиксельді камералар 30 М пиксель/секунд жасай алады, бұл тіпті ұзақ диапазондарда да жоғары нысанды тануға мүмкіндік береді. Неғұрлым жетілдірілген камералар (12 М пиксель) мұны одан әрі арттыра алады. Мәселе осы ауқымды деректерді қалай пайдалану және миллисекунд деңгейіндегі кідірістермен, төмен қуат тұтынумен және нашар жарықтандыру жағдайларымен әрекет ететін қабылдауды жасауда.
ХАБАРЛАНДЫРУ
Регогни, Калифорниялық компания бұл мәселені шешуге тырысуда. Бас директор Марк Болитоның айтуынша, оның миссиясы «толық автономды көліктер үшін адамнан тыс көрнекі қабылдауды қамтамасыз етеді.” Компания 2017 жылы құрылған, бүгінгі күнге дейін 75 миллион доллар жинады және 70 қызметкері бар. RK Ананд, Juniper Networks компаниясының түлегі, құрылтайшылардың бірі және өнім жөніндегі бас директор. Ол жоғары кадр жиілігінде жұмыс істейтін, > 120 дБ динамикалық диапазоны бар жоғарырақ ажыратымдылығы бар камераларды пайдалану (мысалы, OnSemi, Sony және Omnivision) AV жүзеге асыру үшін маңызды болып табылатын жоғары ажыратымдылықтағы 3D ақпаратты жасау үшін қажетті деректерді қамтамасыз етеді деп санайды. Бұған мүмкіндік беретіндер:
- Деректерді тиімді өңдеу және автомобиль ортасының дәл және жоғары ажыратымдылығы бар 3D карталарын жасау үшін арнайы әзірленген ASIC құрылғылары. Олар 7 ГГц жиілікте жұмыс істейтін чип өлшемі 100 мм² болатын TSMC 1 нм процесінде жасалған.
- Оқытылған нейрондық желіні құру үшін миллиондаған деректер нүктелерін офлайн режимінде өңдеуге арналған меншікті машиналық оқыту алгоритмдері, содан кейін ол тиімді жұмыс істей алады және үздіксіз үйренеді. Бұл желі қабылдауды қамтамасыз етеді және объектіні жіктеу мен анықтауды, семантикалық сегменттеуді, жолақты анықтауды, жол белгілерін және бағдаршамды тануды қамтиды.
- Қуатты қажет ететін және жоғары кідіріс жасайтын чиптен тыс сақтау және көбейту операцияларын азайту. Recogni ASIC дизайны логарифмдік математика үшін оңтайландырылған және қосуды пайдаланады. Оқытылған нейрондық желіде салмақтарды оңтайлы кластерлеу арқылы одан әрі тиімділіктер жүзеге асырылады.
Жаттығу кезеңінде коммерциялық LiDAR жоғары ажыратымдылықты, жоғары динамикалық диапазондағы стереокамера деректерін тереңдік туралы ақпаратты алу және оны тураланбау мен діріл әсерлерінен сенімді ету үшін негізгі шындық ретінде пайдаланылады. Ананд мырзаның айтуынша, олардың машиналық оқытуды іске асыруы соншалықты тиімді, ол LiDAR калибрлеуімен қамтамасыз етілген жаттығу диапазондарынан тыс тереңдікке баға бере алады (бұл 100 м диапазонға жердегі шындықты береді).
ХАБАРЛАНДЫРУ
1-сурет: Жасыл қораптар 3-де оқытылған деректерде Recogni қабылдау стекінің 100D өнімділігін көрсетеді ... [+]
Регогни
Жоғарыдағы оқу деректері күндізгі уақытта 8.3 Гц кадр жиілігінде (секундына ~30B пиксель) жұмыс істейтін стерео жұп 0.5 мегапиксельді камералармен жүргізілді. Бұл оқытылған желінің өзі үйренген 3 м диапазоннан тыс сахнада 100D ақпаратты алу мүмкіндігін көрсетеді. Recogni шешімі сонымен бірге оның оқуын күндізгі деректермен түнгі өнімділікке экстраполяциялай алады (2-сурет).
2-сурет: Күндізгі деректерге үйретілген Recogni қабылдау стекі де төменгі жарық деңгейінде жұмыс істейді ... [+]
Регогни
ХАБАРЛАНДЫРУ
Ананд мырзаның айтуынша, диапазон деректері 5% шегінде (ұзын диапазондарда) және 2% жақын (қысқа диапазондарда) дәл. Шешім 1000 мс кідіріспен және 6 Вт қуат тұтынуымен (25 TOPS/Вт) 40 TOPS (секундына триллион операция) қамтамасыз етеді, бұл салада жетекші орын алады. Бүтін математиканы пайдаланатын бәсекелестер бұл көрсеткіш бойынша > 10 есе төмен. Recogni шешімі қазіргі уақытта 1-ші деңгейлі автомобиль жеткізушілерінде сынақтан өтуде.
Пайғамбар («әрекеттің қайда екенін болжау және көру»), Францияда орналасқан, AV, Advanced Driver Assistance Systems (ADAS), өнеркәсіптік автоматтандыру, тұтынушылық қолданбалар және денсаулық сақтау үшін оқиғаға негізделген камераларын пайдаланады. 2014 жылы негізі қаланған компания жақында 50 миллион долларлық C раунды қаржыландыруды жапты, жалпы сомасы $127 млн жиналды. Ұялы телефондардың жетекші өндірушісі Xiaomi - инвесторлардың бірі. Prophesee мақсаты - көз торындағы рецепторлар динамикалық ақпаратқа жауап беретін адамның көру қабілетіне еліктеу. Адам миы сахнадағы өзгерістерді өңдеуге (әсіресе көлік жүргізу үшін) назар аударады. Негізгі идея - шекті мәннен (оқиға) жоғары жарық қарқындылығының өзгерістерін анықтайтын камера мен пиксель архитектурасын пайдалану және әрі қарай өңдеу үшін есептеу стекке тек осы деректерді беру. Пиксельдер асинхронды түрде (кәдімгі CMOS камераларындағыдай жиектелмеген) және әлдеқайда жоғары жылдамдықпен жұмыс істейді, өйткені олар әдеттегі кадрға негізделген камерадағы сияқты фотондарды біріктірудің қажеті жоқ және деректерді оқуға дейін бүкіл кадрдың мұны аяқтауын күту қажет емес. Артықшылықтары маңызды – төмен деректер өткізу қабілеттілігі, шешім қабылдаудың кешігуі, сақтау және қуат тұтынуы. Компанияның бірінші коммерциялық дәрежелі VGA оқиғаға негізделген көру сенсоры жоғары динамикалық диапазонға (>120 дБ), төмен қуат тұтынуға (сенсор деңгейінде 26 мВт немесе 3 нВт/оқаға) ие болды. Өнеркәсіпте жетекші пиксел өлшемі (< 5 мкм) бар HD (жоғары ажыратымдылық) нұсқасы (Sony-мен бірлесіп әзірленген) іске қосылды.
3-сурет: Бірлесіп әзірленген 5 мм пиксель қадамы бар жоғары ажыратымдылық пішіміндегі оқиғаға негізделген бейнелеу сенсоры ... [+]
Пайғамбар
ХАБАРЛАНДЫРУ
Бұл сенсорлар Metavision® сенсорлық платформасының өзегін құрайды, ол автономия қолданбалары үшін ақылды және тиімді қабылдауды қамтамасыз ету үшін AI пайдаланады және көлік кеңістігіндегі көптеген компаниялар тарапынан бағаланады. AV және ADAS үшін алға бағытталған қабылдаудан басқа, Prophesee L2 және L3 қолданбалары үшін драйверді кабина ішінде бақылау үшін тұтынушылармен белсенді түрде жұмыс істейді, 4-суретті қараңыз:
4-сурет: Нуманнан шабыттандырылған нейроморфтық көру негізіндегі XPERI кабинадағы драйверді бақылау
Пайғамбар
Автокөлік мүмкіндіктері тиімді, бірақ дизайн циклдары ұзақ. Соңғы екі жыл ішінде Prophesee өнеркәсіптік қолданбаларға арналған машиналық көру кеңістігіне үлкен қызығушылық пен тартымдылықты байқады. Оларға жоғары жылдамдықты санау, бетті тексеру және дірілді бақылау кіреді.
ХАБАРЛАНДЫРУ
5-сурет: Оқиғаға негізделген камераларды пайдаланып жоғары санау
Пайғамбар
Prophesee жақында бірлескен жұмыстарды жариялады өнеркәсіптік автоматтандыру, робототехника, автомобиль жасау және IoT (заттардың интернеті) салаларындағы мүмкіндіктерді пайдалану үшін машиналық көру жүйелерінің жетекші әзірлеушілерімен. Басқа шұғыл мүмкіндіктер ұялы телефондар мен AR/VR қолданбалары үшін кескіннің бұлыңғырлығын түзету болып табылады. Олар ұзақ мерзімді ADAS/AV мүмкіндіктері үшін пайдаланылатындарға қарағанда төмен форматты сенсорларды пайдаланады, одан да аз қуат тұтынады және айтарлықтай төмен кідіріспен жұмыс істейді.
Израиль айтарлықтай венчурлық инвестициялары және белсенді стартап ортасы бар жоғары технологиялар саласындағы жетекші инноватор болып табылады. 2015 жылдан бері технологиялық секторға венчурлық инвестицияға шамамен 70 миллиард доллар құйылды. Оның бір бөлігі компьютерлік көру саласында. Mobileye бұл революцияны 1999 жылы Еврей университетінің жетекші AI зерттеушісі Амнон Шашуа ADAS және AV құрылғыларын камераға негізделген қабылдауға бағыттау үшін құрған кезде басқарды. Компания IPO-ға 2014 жылы өтініш берді және оны Intel сатып алды
ХАБАРЛАНДЫРУ
Шампел астанасы, Иерусалимде орналасқан, көлік пен ауыл шаруашылығынан қауіпсіздік пен қауіпсіздікке дейінгі әртүрлі қолданбалар үшін компьютерлік көру негізінде өнімдерді әзірлейтін компанияларға инвестиция салуда алдыңғы қатарда. Амир Вайтман – тең құрылтайшы және басқарушы серіктес және өзінің венчурлық компаниясын 2017 жылы бастады. Бірінші қор 20 компанияға 14 миллион доллар инвестициялады. Олардың инвестицияларының бірі Innoviz болды, ол 2018 жылы SPAC бірігуі арқылы көпшілікке шығып, LiDAR бір мүйізі болды. Омер Кейлаф (Израиль қорғаныс күштерінің барлау корпусының технологиялық бөлімінен шыққан) жетекшілік етеді. компания бүгінде ADAS және AV үшін LiDAR орналастыруда көшбасшы болып табылады, BMW және Volkswagen-де бірнеше дизайндағы жеңістері бар.
Champel Capital екінші қоры (Impact Deep Tech Fund II) 2022 жылдың қаңтарында басталды және бүгінгі күнге дейін 30 миллион доллар жинады (мақсатты 100 жылдың соңына қарай 2022 миллион доллар). Бес компанияда 12 миллион доллар жұмсалған компьютерлік көру басты назарда. Олардың үшеуі көлік пен робототехника үшін компьютерлік көруді пайдаланады.
TankU, Хайфада орналасқан, 2018 жылы жұмысын бастады және 10 миллион доллар қаржы жинады. Дэн Вальдхорн – бас директор және Израиль қорғаныс күштерінің сигналды барлау мен кодты шешуге жауапты элиталық жоғары технологиялық топ 8200 бірлігінің түлегі. TankU компаниясының SaaS (Қызмет ретіндегі бағдарламалық құрал) өнімдері көліктер мен драйверлерге қызмет көрсететін күрделі сыртқы ортадағы процестерді автоматтандырады және қауіпсіз етеді. Бұл өнімдерді автокөлік парктерінің, жеке автокөліктердің, жанармай құю және электр зарядтау станцияларының иелері автоматтандырылған қаржылық операцияларда ұрлық пен алаяқтықтың алдын алу үшін пайдаланады. Көліктердің жанар-жағармай қызметтері жыл сайын жаһандық кіріске ~ $2T әкеледі, оның 40% немесе 800 млрд долларды жеке және коммерциялық көлік иелері тұтынады. Бөлшек саудагерлер мен автопарк иелері ұрлық пен алаяқтық салдарынан жыл сайын ~100 миллиард доллар жоғалтады (мысалы, рұқсат етілмеген жеке көліктер үшін флоттың жанармай картасын пайдалану). CNP (Карт жоқ) алаяқтық және бұрмалау/ұрлау жанармай, әсіресе төлемдер үшін мобильді қолданбаларда ұрланған карта мәліметтерін пайдалану кезінде қосымша жоғалту көздері болып табылады.
ХАБАРЛАНДЫРУ
Компанияның TUfuel өнімі бір рет түрту арқылы қауіпсіз төлемді жеңілдетеді, алаяқтықтың көптеген түрлерін блоктайды және алаяқтыққа күдіктенген кезде тұтынушыларды ескертеді. Ол мұны осы қондырғылардағы бар CCTV деректері мен цифрлық транзакция деректері (соның ішінде POS және басқа серверлік деректер) бойынша оқытылған AI қозғалтқышына негізделген. Көлік траекториясы мен динамикасы, көлік құралының идентификаторы, сапар уақыты, жүгіріс, жанармай құю уақыты, жанармай мөлшері, жанармай тарихы және жүргізуші тәртібі сияқты параметрлер алаяқтықты анықтау үшін бақыланатын кейбір атрибуттар болып табылады. Бұл деректер сонымен қатар бөлшек саудагерлерге сайт жұмысын оңтайландыруға, тұтынушылардың адалдығын арттыруға және көру негізіндегі маркетинг құралдарын қолдануға көмектеседі. Бас директор Дэн Вальдхорнның айтуынша, олардың шешімі флоттың 70%, несие картасының 90% және бұрмалауға байланысты алаяқтық оқиғаларының 70% анықтайды.
6-сурет: TUfuel жанармай құю станциясының бейнебақылау камераларынан алынған нақты уақыттағы деректерді және басқа сандық деректерді пайдаланады ... [+]
TankU
Сонол — Израиль бойынша 240 станция мен дүкендер желісіне иелік ететін және басқаратын энергетикалық қызмет көрсетуші компания. TUfuel өз сайттарында орналастырылған және қауіпсіздікті, алаяқтықты болдырмауды және тұтынушылардың адалдығын көрсетті. АҚШ-та жанармай құю станциялары мен дүкен жабдықтарының жетекші жаһандық жеткізушісімен бірлесе отырып, өнім сынақтары жүргізілуде. Мұндай бастамалар Африка мен Еуропада да жүргізілуде.
ХАБАРЛАНДЫРУ
Тель-Авивте орналасқан ITC 2019 жылы Бен-Гурион университетінің машиналық оқыту академиктерімен құрылған. ITC SaaS өнімдерін жасайды «Көлік ағынын өлшеңіз, кептелістерді болжаңыз және оны кептеліс пайда болғанға дейін бағдаршамдарды ақылды манипуляциялау арқылы азайтыңыз». TankU сияқты, ол тікелей трафик деректерін алу үшін дайын камералардағы деректерді (көптеген көлік қиылыстарында орнатылған) пайдаланады. Қала бойынша мыңдаған камералардан алынған деректер талданады және жеке AI алгоритмдерін қолдану арқылы көлік түрі, жылдамдық, қозғалыс бағыты және көлік түрлерінің реттілігі (жүк машиналары мен жеңіл көліктер) сияқты параметрлер шығарылады. Симуляциялар көлік ағынын және ықтимал кептеліс жағдайларын 30 минутқа дейін алдын ала болжайды. Бағдаршамдар көлік ағынын тегістеу және кептелістерді болдырмау үшін осы нәтижелер арқылы реттеледі.
7-сурет: Мыңдаған камералардың деректері қалалық трафикті басқарудағы VMS арқылы құрастырылады ... [+]
ITC
AI жүйесін оқыту әдеттегі қала бойынша бір айлық көрнекі деректерді алады және бақыланатын және бақыланбайтын оқытудың үйлесімін қамтиды. ITC шешімі қазірдің өзінде Тель-Авивте (25 жылы әлемдегі ең кептеліс қалаларының рейтингінде 2020-орында) орналастырылған, мыңдаған камералар бағдаршаммен басқарылатын жүздеген қиылыстарда орнатылған. ITC жүйесі қазіргі уақытта 75 мың көлікті басқарады, олардың өсуі жалғасады деп күтілуде. Компания орнатуда ұқсас қабілет Люксембург және АҚШ-тың ірі қалаларында сынақтар басталады. Дүние жүзінде оның шешімі Израильде, АҚШ-та, Бразилияда және Австралияда жұмыс істейтін 300,000 XNUMX көлікті басқарады. Двир Кениг, CTO, бұл мәселені шешуге құмар - адамдарға жеке уақытын қайтару, парниктік газдарды азайту, жалпы өнімділікті арттыру және ең бастысы, кептеліс қиылыстарындағы апаттарды азайту. Кениг мырзаның айтуынша, «Біздің қондырғылар көлік кептелістерін 30%-ға азайтып, өнімді емес көлік жүргізу уақытын, стрессті, отын шығынын және ластануды азайтады».
ХАБАРЛАНДЫРУ
Ішкі робототехника болды 2018 негізделген және жуырда 18 миллион доллар қаржы жинады. Тель-Авивке (Израиль) жақын жерде орналасқан компания ішкі қауіпсіздік, қауіпсіздік және техникалық қызмет көрсету мониторингі үшін автономды дрон шешімдерін әзірлейді және сатады. Бас директор және негізін қалаушы Дорон Бен-Дэвидтің IAI-да жинақталған робототехника және аэронавтика саласындағы маңызды тәжірибесі бар.
8-сурет: Indoor Robotics автономды дрондар флоты төбеге орнатылған төбе арқылы қуат алады. ... [+]
Ішкі робототехника
Офир Бар-Левав – бас бизнес директоры. Ол GPS-тің жоқтығы үй ішіндегі дрондардың ғимараттардың ішінде локализациялануына кедергі келтіргенін түсіндіреді (әдетте GPS қабылданбайды немесе дәл емес). Сонымен қатар, ыңғайлы және тиімді қондыру және қуат беру шешімдері жетіспеді. Ішкі робототехника мұны төрт дронға орнатылған камералармен (жоғарғы, төмен, сол, оң) және ішкі кеңістік пен оның мазмұнын дәл көрсететін қарапайым диапазондық сенсорлармен шешеді. Камера деректері (камералар локализация және карталау деректерін қамтамасыз етеді) және жылу сенсорлары (сонымен бірге дронға орнатылған) ықтимал қауіпсіздік, қауіпсіздік және техникалық қызмет көрсету мәселелерін анықтау және тұтынушыны ескерту үшін AI жүйесімен талданады. Дрондар төбеге орнатылған «қондыру тақтасы» арқылы қуат алады, бұл еденнің құнды кеңістігін үнемдейді және зарядтау кезінде деректерді жинауға мүмкіндік береді. Адам еңбегі күрделі және жалдау, сақтау және оқыту тұрғысынан қымбат тұратын осы қарапайым процестерді автоматтандырудың қаржылық артықшылықтары айқын. Әуе дрондары мен жердегі роботтарды пайдалану күрделі және операциялық шығындар, еден кеңістігін жақсырақ пайдалану, кедергілерге тап болмай қозғалу еркіндігі және камера деректерін түсіру тиімділігі тұрғысынан да айтарлықтай артықшылықтарға ие. Бар-Левав мырзаның айтуынша, Indoor Robotics' TAM (Total Addressable Market) жабық зияткерлік қауіпсіздік жүйелерінде 80 жылға қарай $2026 млрд құрайды. Бүгінгі таңда тұтынушылардың негізгі орналасу орындарына жетекші әлемдік корпорациялардың қоймалары, деректер орталықтары және кеңсе кампустары кіреді.
ХАБАРЛАНДЫРУ
Компьютерлік көзқарас қозғалысты автоматтандыруда, қауіпсіздікте, ақылды ғимаратты бақылауда, алаяқтықты анықтауда және трафикті басқаруда автономия ойынында төңкеріс жасайды. Жартылай өткізгіштер мен AI қуаты күшті мүмкіндіктер болып табылады. Компьютерлер осы керемет сенсорлық әдісті ауқымды түрде меңгергеннен кейін, мүмкіндіктер шексіз.
Дереккөз: https://www.forbes.com/sites/sabbirrangwala/2022/10/04/advances-in-computer-vision-propel-transportation-autonomy/