索尼首款AI图像传感器将使无处不在的相机变得更智能

设备端 AI 有望更快，更便宜，更安全

索尼的新型图像传感器有朝一日可能会出现在这样的相机中。

索尼宣布推出全球首款集成 AI 智能的图像传感器新的 IMX500 传感器结合了处理能力和内存，使其无需额外硬件即可执行机器学习驱动的计算机视觉任务索尼表示，结果将是更快，更便宜，更安全的 AI 相机

在过去几年中，从智能手机到监控摄像头的设备都受益于人工智能的集成机器学习不仅可以用来提高我们拍摄照片的质量，还可以像人类一样理解视频，识别框架中的人和物体这项技术的应用非常广泛，可以实现从自动驾驶汽车到自动监控的一切

但许多应用程序依赖于将图像和视频发送到云端进行分析这可能是一个缓慢且不安全的旅程，将数据暴露给黑客在其他情况下，制造商必须在设备上安装专门的处理核心来处理额外的计算需求，就像苹果，谷歌和华为的新高端手机一样

索尼电子公司

从左到右:IMX500为裸芯片，IMX501为封装产品。三星是全球拥有全产业链的半导体企业，在图像传感器，存储芯片，晶圆代工厂等多个领域处于全球领先地位。今年，三星的展馆位于集成电路领域，除了图像传感器，还展示了多项“行业第一”的产品。

但索尼表示，其新的图像传感器提供了比这两种方法都更精简的解决方案。。

还有其他一些方法可以实现这些解决方案，索尼业务和创新副总裁马克汉森告诉The Verge，他提到了边缘计算，它使用不直接连接到图像传感器的专用 AI 芯片但我不相信它们会像我们运送数十亿的图像传感器那样具有成本效益

IMX500 面向商业客户，而非消费类硬件

索尼在图像处理市场的巨大存在肯定会将这项技术大规模地推向客户Hanson 指出，该公司拥有超过 60% 的市场份额，去年出货量约为 16 亿个传感器索尼的客户中有苹果，它在其 iPhone 产品线中使用了该公司的传感器

不过，这种第一代 AI 图像传感器不太可能最终出现在智能手机和平板电脑等消费设备中，至少一开始是这样相反，索尼将瞄准零售商和工业客户，这些客户开始更广泛地使用计算机视觉技术

Hanson 以亚马逊的无人收银 Go 商店为例在亚马逊的 Go 商店中，零售商使用数十个支持 AI 的摄像头来跟踪购物者，并对他们从货架上抓取的物品收费他们安装了数百个摄像头，每天运行 PB 级数据，便利性得分很小，Hanson 说但如果我们能够将这种能力小型化并将其放在芯片的背面，我们就可以做各种有趣的事情

报告表明，由此产生的硬件成本减缓了亚马逊商店的推出，尽管索尼的 IMX500 传感器尚无法处理此类功能所需的大量数据负载相反，他们可以执行更简单的任务，例如绘制任何给定商店周围的客户流

许多 AI 计算机视觉应用，例如 Amazon Go，都需要大量昂贵的相机。

除了节省成本外，还有隐私方面的好处如果 AI 芯片直接贴在图像传感器的背面，则可以在设备上进行物体检测图像传感器本身不会将要分析的数据发送到云端或附近的处理器，而是执行任何必要的 AI 分析，而只是生成元数据

好处包括更大的隐私和更快的处理速度

因此，如果您想创建一个智能相机来检测某人是否戴口罩，那么 IMX500 图像传感器可以加载相关算法，使相机能够快速发送是的 或无ping。

现在我们已经消除了通常每秒 60 帧的 4K 视频流，变成了一个 '嘿，我认得这个物体'，Hanson 说这可以减少数据流量 它还有助于保护隐私

另一个重要的应用是工业自动化，其中需要图像传感器来帮助所谓的协作机器人——旨在与人类近距离工作的机器人——免于殴打他们的血肉同事在这里，集成 AI 图像传感器的主要优势是速度如果协作机器人在不应该出现的地方检测到人员并需要快速停下来，那么尽快处理该信息至关重要

AI 摄像头还可用于确保设计为与人类一起工作的机器人安全。

索尼表示，IMX500 执行此类任务的速度比许多其他 AI 相机快得多，能够在 3.1 毫秒内将标准图像识别算法 应用于单个视频帧Hanson 说，相比之下，竞争对手的芯片，例如由英特尔旗下的 Movidius 制造的芯片可能需要数百毫秒甚至几秒的时间来处理

可是，最大的瓶颈是 IMX500 处理更复杂分析任务的能力Hanson 说，目前，图像传感器只能使用非常基本的算法这意味着在可预见的未来，更复杂，更多样化的任务，比如驾驶自动驾驶汽车，肯定需要专用的人工智能硬件相反，将 IMX500 视为简单的单一应用设备

但这只是第一代，未来技术无疑会提高现在，相机更智能，因为它们将数据发送到计算机未来，相机本身将成为计算机，并且会因此变得更加智能