事件相机的工作原理和应用场景

产品详情

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  全面屏+3D曲面+四摄 疑似金立S11线年的下半年,全面屏手机已经全方面爆发,11月13日上午,微博上曝光了一组全面屏新机谍照,疑似为将于11月26日发布的新机金立S11。 金立S11曝光 从微博曝光的谍照来看,金立S11的外观设计相比前代金立S10有着显而易见的变化。首先是手机正面采用了全面屏外观,虽然正面谍照为熄屏状态,但是也可以比较清楚的看到机身正面的顶部和底部边框比较窄,另外机身两侧也采用了窄边框的设计,因此手机正面有着相当高的屏占比。 金立S11 另外,从正面谍照来看,金立S11在拍照方面延续了金立S10的四摄设计,根据S10的拍照效果来猜测,金立S11在拍照上,应该也会有不错的表现。 金立S11 从机身背部的谍照来看,金立S11的

  自从李飞飞离开谷歌回到斯坦福之后,她的研究方向及成果就备受业界关注。近日,其领导的团队在瑞士苏黎世召开的机器人学习大会上展示了他们的最新成果——机械臂。 和通常所见的机械臂只能按照既定程序运行不同,李飞飞团队研发的机械臂拥有机器学习功能,能学习人类向其展示的各种动作,如拾取物体等。除此之外,机器人还可以同时学习多种动作。 该小组成员介绍称,基于RoboTurk和SURREAL两个框架,他们让机械臂拥有了快速学习基础技能的能力。其中,RoboTurk用于引导机械臂完成动作,可通过智能手机或浏览器实现,如挥动手机指导机械臂于周围环境进行交互等;SURREAL则可以在同时运行多种动作时加速机械臂的学习进程,让其能够“一心多用”,如像

  虽然三星旗舰手机的销量大不如前,但他们似乎并不担心,依然在快速推进新旗舰的进程。 对产业链整合应该是三星最大的的杀手锏,也正是靠着自己众多硬件上的优势,他们的旗舰参数一直都引领着其它厂商,看来Galaxy S6也会如此。 现在韩国媒体etnews给出消息称,三星打算在12月25日发布Galaxy S6手机,而明年1月开始发售。 此外,报道还给出了GS6的一些配置参数,看起来相当的彪悍,配备5.2寸Super AMOLED 2K屏,搭载自家的64位Exynos系列处理器,同时提供4GB内存,且提供128GB存储空间版本。 据悉,三星会对GS6的外形进行重新设计(包括材质选择上),并且保留三防功能,提供2000万像

  历年来,人们对苹果的新品都充满了相当高的期待,各种吊炸天的传闻也把新iPhone描绘得神乎其神。不过,多年的经验却告诉我们,传闻不能全信,否则你就输了。这不,国外爆料人Macotakara就给狂热的果粉浇了一头冷水,告诉人们iPhone 8可能并没那么美好。 iPhone 8概念图 按照Macotakara的说法,目前人们对iPhone 8采用OLED屏的预测主要是基于供应链上一款iPhone原型机,但该机尚处于EVT工程验证阶段。这就是说,苹果并没有确定要在iPhone 8上采用OLED屏,备受期待的OLED屏仍有变数。 至于最近频繁被提到的一款特殊版本的iPhone(5英寸,双镜头,Lightning 接口,无线

  香港春季电子科技类产品展2018年4月13日开幕,来自23个国家和地区的逾3500家企业参展。瑞芯微Rockchip携全系平板类芯片解决方案亮相。在大会上展出可应用于近百种行业的解决方案RK3399/RK3288/RK3368/RK3326/RK3126C及RV1108系列应用案例。 1.最超高的性价比入门级芯片: RK3126C 瑞芯微RK3126C是首三颗被谷歌认可适配安卓GO的平台,也是目前最超高的性价比的入门级WIFI Only平台。 ● RK3126C CPU采用Quad-core Cortex-A7,GPU为ARM Mali-400 MP2,支持1080P H.264/VC-1/MPEG/VP8 video

  ,全系列芯片助力百种应用 /

  集微网消息,近日,Mac Otakara 报导指出,新的 iPad mini 可能会在 2019 年初亮相,并在 2018 年12月底前投产,当时还没有较可靠的消息,透露这款新 iPad mini 的具体消息。不过,近日,一款新 iPad mini 的保护壳泄露,爆出了几处有意思的细节。 据外媒 9to5mac 报导,爆料网站 Slashleaks 在 Twitter 分享关于新款 iPad mini 的磨砂透明保护壳,并称其为 iPad mini 5。 从图片来看,iPad mini 5 的保护壳在镜头区域有一块竖形椭圆开孔,与新款 iPad Pro 保护壳的镜头开孔较相似,这意味iPad mini 5可能采用与新款iP

  OPPO Reno发布会已经确认将在4月10日召开,按照之前的说法,Reno系列将分为标准版和旗舰版,其中OPPO Reno标准版目前已经开启预约,OPPO Reno旗舰版则会搭载骁龙855移动平台,这也是OPPO今年第一款骁龙855旗舰。日前,有网友曝光了疑似OPPO Reno旗舰版的渲染图。 OPPO Reno标准版已开启预约 图片显示,OPPO Reno旗舰版的外观和标准版师出同门,正面搭载全景屏,加入升降式摄像头。手机背面后置竖排三摄,第三颗摄像头为矩形样式。由于官方已经宣布过该机会支持10倍混合光学变焦,因此这枚独特的摄像头应该和变焦系统息息相关。事实上,华为P30 Pro上的变焦系统也包含一枚类似的矩形

  :提前公布核心卖点 /

  今年的MWC缺少了HTC和LG的身影,不过现在网上已然浮现了HTC新旗舰的消息。 VentureBeat的一份新报告曝光了HTC即将推出的U12 +智能手机,包括配置和渲染图。这款新机定位旗舰产品,配置包括骁龙845处理器和6GB内存,提供64GB或128GB存储容量。配上6英寸显示屏,据悉是“接近无边框”,预装安卓奥利奥,内置3,420mAh电池。 此外,这款手机还搭载1600万像素+1200像素后置摄像头,前置两个800万像素摄像头。报告还提到该机搭载像HTC U11 +一样的背面的指纹传感器,以及“第二代”Edge Sense硬件。 既然有HTC U12 +,那么HTC U12呢?该报道称HTC U12可能“

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  该产品线提供了并行SRAM的低成本替代方案,容量高达 4 Mb,具有143 MHz SPI SQI™通信功能为实现用户对更大更快的 SRAM 的普遍需求, ...

  第五代至强可扩展处理器的最新MLPerf测试结果充分展示了英特尔及其生态合作伙伴在提升生成式AI性能方面的成果。...

  嵌入式硬件专家 SolidRun 宣布发布围绕 Hailo-15 神经处理单元 (NPU) 构建的模块系统 (SOM),每秒可实现高达 20 TOPS算力,以支持 ...

  AMD携手OEM合作伙伴联想和华硕,以及ECO合作伙伴百川智能、有道、游戏加加、生数科技、始智AI等共庆AI PC腾飞之年,展示了Ryzen AI PCECO的强大实力...

  台灯是我们很常用的一种照明用品,传统的台灯都是手动控制的,通过手动按按键去进行操控台灯,而如今,科学技术水平不断地提升,人们的生活水 ...

  浙江移动联合高通和中兴通讯完成5G-A下行三载波聚合+1024QAM全球商用首秀,单用户速率突破

  共抗疫情 少出门多学习: 多部TI实用课程奉上, 身体不能在路上就让灵魂在路上

  TI E2E中文社区年终回馈,15 块 CC3200-LAUNCHXL 开发板免费申请中……测评赢好礼喽!

  嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科词云: