导言

工业检测正迈入一个新时代，在这个时代，人们不仅期望机器能够 参见 而且还要…… 听到, ，理解并做出智能响应。 过去几十年间，传统机器视觉系统虽显著提升了生产效率，但在检测那些几乎或完全没有可见迹象的隐蔽故障时，仍面临诸多局限。压缩空气泄漏、局部电晕放电、轴承异常噪音、泵内空化现象以及早期机械故障，往往在视觉症状出现之前很久，就会产生独特的声学特征。.

这就是 声学相机 已成为现代工业中最具价值的传感技术之一。通过将高密度MEMS麦克风阵列与先进波束成形算法相结合，声学相机将不可见的声波转化为直观的声学热力图，从而精确定位声源。维护工程师可以直观地“看到”声音的来源，使故障诊断更加快速、安全且准确。.

然而，工业环境正变得日益复杂。高速旋转机械、自主移动机器人、智能制造系统以及严苛的照明条件，都需要比任何单一传感器所能提供的更为全面的感知能力。.

因此，下一代工业人工智能将依赖于 多模态传感, ，其中多个互补的传感器协同工作，从而对环境形成统一的认知。.

在所有传感组合中，将 声学相机, RGB 摄像头以及 事件相机 是智能检测系统中最具前景的发展方向之一。.

这三项技术相结合，使机器能够同时回答三个关键问题：

• 声音是从哪里传来的？
• 是什么物体发出的？
• 该物体随时间的变化情况如何？

声学传感、传统视觉和基于事件的视觉并非相互替代，而是相互补充各自的优势，同时弥补各自的不足。.

本文探讨了这些技术的工作原理，多模态融合为何正成为工业人工智能领域的一项重要趋势，以及基于MEMS麦克风阵列构建的智能传感平台如何塑造预测性维护、机器人技术、智能制造和自主检测的未来。.

为什么工业检测不能仅靠视觉检测

传统的工业检测一直高度依赖RGB摄像头。高分辨率图像使工程师和人工智能系统能够识别设备、检测表面缺陷并监控生产过程。尽管这些功能依然至关重要，但基于视觉的检测仍存在固有的局限性。.

许多设备故障的根源在于内部。轴承在出现肉眼可见的磨损之前，就已经产生了微观缺陷。电气绝缘性能的劣化，往往在出现烟雾或火花之前很久就已经发生。气体泄漏虽然会产生特征性的超声波噪声，却依然无法被肉眼察觉。仅凭目视检查，往往意味着要等到损坏显而易见时才采取行动。.

声音的表现方式有所不同。.

机械异常在最初阶段就会产生独特的声学特征。通过捕捉这些声学特征，维护团队能够在灾难性故障发生前数天、数周甚至数月就识别出潜在故障。.

这一能力构成了 预测性维护, ，这是工业人工智能中发展最快的应用领域之一。.

然而，仅靠声音是不够的。.

知道存在某种噪音，并不一定能揭示 哪个物理组件 制作了这部作品。.

这正是声学成像越来越需要视觉传感的原因。.

什么是声学相机？

一个 声学相机 这是一种智能传感系统，通过结合……将声音可视化， MEMS 麦克风阵列 采用先进的数字信号处理算法。.

与仅从单一位置录制声音的传统麦克风不同，声学相机内包含数十个甚至数百个同步工作的麦克风，这些麦克风按照精心设计的几何图案排列。.

每个麦克风接收声音的时间都略有不同。.

这些到达时间和相位上的微小差异中包含了足够的信息，可以据此计算出声源的确切方向。.

高级 波束成形算法 分析这些差异并生成声强图，然后将其叠加到真实世界图像上，从而生成直观的可视化效果。.

工程师们不再只是听到噪音，而是能够立即确定声音的来源。.

声学相机背后的核心技术

现代声学成像系统通常融合了多项先进技术：

• MEMS 麦克风阵列
• 数字波束成形
• 到达时间差 (TDOA)
• 到达方向（DOA）估计
• 基于人工智能的声音分类
• 声源定位 (SSL)
• 实时声学热力图渲染

这些技术相结合，使声学相机能够以极高的精度定位声源，同时支持智能故障诊断。.

声学摄像机的优势

与传统的检测方法相比，声学摄像机具有多项独特的优势。.

早期故障检测

在出现可见损坏之前，机械故障就会产生声响。.

声学成像使维护团队能够在设备性能下降的最早阶段就发现问题。.

非接触式检测

无需与设备发生物理接触。.

这有助于提高检查时的安全性：

• 高压变电站
• 风力涡轮机
• 化工厂
• 钢铁厂
• 高温设备

实时可视化

声学热力图可提供直观的视觉反馈。.

维护工程师无需仅依赖音频录音，即可立即判断异常声音的来源。.

人工智能集成

现代声学相机越来越多地集成了能够识别各种声音模式的人工智能算法，例如：

• 漏气
• 轴承故障
• 电弧放电
• 齿轮缺陷
• 运动功能异常
• 阀门泄漏
• 泵空化

这些功能显著提高了检测效率。.

声学摄像机的当前挑战

尽管声学成像技术日益成熟，但仍面临若干技术挑战。.

低频定位

要实现较高的定位精度，低频段需要使用物理尺寸更大的麦克风阵列。.

被遮挡的声源

当声音源自墙壁、盖板后方或复杂机械内部时，确定其精确的三维声源位置会变得更加困难。.

动态对象

快速移动的声音源的位置变化速度可能超过传统成像系统的更新速度。.

语义理解

声学相机能够确定声音的来源，但无法独立判断是哪种物理物体发出的声音。.

正是这些局限性，解释了为什么多模态传感器融合已成为下一个主要的发展方向。.

RGB 相机：机器视觉的基础

几十年来，RGB相机一直是工业自动化领域的主要传感技术。.

它们通过红、绿、蓝三个颜色通道捕捉全彩图像，从而提供有关物体的外观、纹理、几何形状及其周围环境的丰富信息。.

基于RGB图像的计算机视觉算法能够识别部件、检测缺陷、读取标签、估计姿态，并执行无数种检测任务。.

如今，基于人工智能的制造系统在以下方面高度依赖RGB摄像头：

• 表面缺陷检测
• 产品分类
• 机器人引导
• 条形码识别
• 装配验证
• 人机协作

由于RGB相机与人眼视觉极为相似，因此在视觉检测中依然不可或缺。.

RGB摄像头的优势

RGB摄像头具有多项显著优势。.

丰富的视觉语义

高分辨率彩色图像包含大量信息，这些信息可为物体识别和场景理解的深度学习模型提供支持。.

成熟的人工智能生态系统

数十年的研究已为RGB图像处理开发出了高度优化的算法、数据集和软件框架。.

经济高效的部署

RGB相机随处可见且价格相对低廉，因此已成为各行业通用的成像解决方案。.

出色的可解释性

维护工程师即使没有接受过专门培训，也能自然地理解RGB图像。.

RGB摄像头的局限性

尽管具有诸多优势，RGB相机在某些条件下仍难以胜任。.

运动模糊

由于曝光时间有限，快速移动的物体往往会显得模糊。.

弱光环境下的表现

在光线不足的情况下，图像质量会显著下降。.

动态范围有限

同时包含极亮和极暗区域的场景可能会出现过曝或欠曝的情况。.

无法检测到隐藏故障

也许最重要的局限性在于，RGB相机无法直接观测到不可见的声学现象。.

压缩空气泄漏是肉眼无法察觉的。.

发出异常超声波噪音的轴承，外观上可能完全正常。.

电气局部放电并非总能通过目视检查识别出来。.

这些局限性为互补的传感技术创造了机遇。.

事件相机：新一代视觉传感器

与传统RGB相机不同，后者会以固定间隔连续捕获完整的图像帧，, 事件相机—又名 动态视觉传感器（DVS）—其工作原理完全不同，灵感源自生物视觉。.

系统并非记录每一帧中的每个像素，而是让每个像素独立工作，仅报告亮度的变化。当没有变化时，则不生成任何数据。.

这种事件驱动架构具有以下几项显著优势：

• 微秒级的时间分辨率： 事件相机几乎能即时捕捉变化，因此非常适合监测高速运动。.
• 高动态范围： 由于其动态范围通常超过 120 dB，因此在光照对比度极高的场景中也能表现稳定可靠。.
• 低延迟： 数据仅在发生有意义的变化时才会传输，从而减少了处理延迟。.
• 低功耗： 由于不会记录冗余信息，事件摄像头具有极高的能效。.

这些特性使得事件相机在机器人导航、自动驾驶、工业自动化和高速检测等应用中具有特别重要的价值。.

然而，它们也存在局限性。事件相机无法捕获色彩信息，其空间分辨率低于许多RGB相机，且生成的数据格式截然不同，需要专门的处理算法。.

为什么多模态融合至关重要：为什么仅靠一个传感器已不够用

随着工业自动化向“工业4.0”和人工智能驱动的决策迈进，仅依赖单一传感技术已越来越难以满足需求。现代生产线、自主机器人和智能检测系统所处的运行环境，其能见度、照明、运动和声音都在不断变化。.

每个传感器感知世界的方式各不相同。.

声学相机能在异常事件显现之前就“听”到它们。.

RGB摄像头能够“识别”物体的外观和身份。.

事件相机能够“捕捉”到普通相机通常无法捕捉到的快速运动。.

每项技术在特定情况下都表现出色。它们结合在一起，便构成了一个能够同时理解物理环境及其动态变化的综合感知系统。.

这一概念——被称为 多模态传感器融合——正成为工业人工智能领域最重要的技术趋势之一。.

工程师们不再指望单个传感器解决所有问题，而是让多个传感器提供互补的信息，从而使人工智能系统能够做出更准确、更可靠的决策。.

了解每种传感器的优缺点

在讨论传感器融合之前，必须先理解为什么没有任何一种单独的传感技术能够解决所有的工业检测难题。.

这些技术并非相互竞争，而是自然地相互补充。.

为什么声学相机需要RGB相机

声学相机在解答一个问题方面表现尤为出色：

"声音是从哪里来的？"

然而，维护工程师通常还需要另一个答案：

“是哪个机器部件发出的这种声音？”

试想一条自动化生产线，上面密密麻麻地排列着数十台电机、水泵、阀门和减速机。.

声学热力图可能表明，异常噪声源自某个特定区域。.

如果没有视觉信息，工程师可能仍需检查附近几个部件，才能找到故障部件。.

RGB摄像头通过提供上下文信息来解决这个问题。.

一旦声学定位确定了声源，AI视觉算法即可识别相应的机器部件，显示设备信息，调取维护记录，甚至识别出制造商的零件编号。.

这种结合将声音定位转化为可付诸实践的维护情报。.

实例：识别故障轴承

设想一个包含多个相同电机的输送系统。.

声学摄像机可检测到异常的高频噪声。.

RGB摄像头会立即识别出：

• 电机ID
• 设备位置
• 轴承座
• 保养标签
• 工作条件

维护工程师不再需要猜测是哪台电机发出了异常声响。.

检查速度显著提高。.

为什么声学相机需要事件相机

在所有多模态组合中，声学相机与事件相机的融合是其中一个最令人兴奋的研究方向。.

乍一看，这似乎有些令人惊讶。.

声源定位系统为什么需要超高速视觉传感器？

答案在于一个关键的挑战：

动议。.

挑战 1：追踪移动声源

传统声学摄像机在检测静止设备时表现尤为出色，例如：

• 空气压缩机
• 电气柜
• 管道
• 风力涡轮机
• 变形金刚

然而，许多工业应用中都涉及快速移动的声源。.

这方面的例子包括

• 测试中的高速电动汽车
• 移动检测机器人
• 自动导引车（AGV）
• 无人机推进系统
• 传送带
• 旋转机械
• 铁路车轮

随着声源的移动，其位置也在不断变化。.

与此同时，一款以每秒30帧（FPS）运行的常规RGB摄像头，大约每33毫秒拍摄一帧画面。.

在此期间，一个高速移动的物体可能会移动几厘米——甚至几米。.

声学热图与视觉图像可能会出现错位。.

结果是定位不准确。.

事件相机解决了这一同步问题。.

由于它们能以微秒级的时间分辨率检测亮度变化，因此能够捕捉到近乎连续的运动。.

这使得声学定位算法能够以亚毫秒级的精度同步声音与运动。.

工程师无需估算声源可能的位置，而是可以持续追踪其实时轨迹。.

挑战 2：消除运动模糊

运动模糊仍然是传统工业视觉技术面临的最大限制之一。.

试想一下，要检查一个每分钟转速达数千转的变速箱。.

一台RGB相机拍摄到了模糊的齿轮齿。.

与此同时，声学热力图显示存在异常振动。.

是哪一档位出现了故障？

这张模糊的图片无法可靠地回答这个问题。.

事件相机无论转速如何，都能生成清晰的运动轮廓。.

这些清晰的边缘为叠加声学热力图提供了理想的背景。.

由此，可以对特定运动部件的故障进行更为精确的定位。.

挑战 3：极端光照条件

工业环境很少能提供完美的照明。.

这方面的例子包括

• 地下公用设施隧道
• 采矿作业
• 钢铁制造
• 户外变电站
• 夜间检查
• 隧道入口
• 仓库自动化

RGB相机在以下情况下往往难以应对：

• 背光
• 突然的照明变化
• 黑暗
• 眩光

声学摄像机继续正常检测声音。.

然而，如果没有视觉背景，工程师就会丧失对情况的把握。.

事件相机在极其宽广的动态范围内都能保持卓越的性能——通常超过120 dB。.

它们实际上变成了“永不闭合的眼睛”，即使在RGB图像无法使用时，也能持续提供可靠的运动信息。.

为什么RGB相机也能从事件相机中受益

不应将事件相机视为RGB相机的替代品。.

相反，它们将RGB视觉的应用范围扩展到了传统成像技术难以应对的情境中。.

二者结合，既能提供：

• 丰富的语义理解
• 高速动态感知

RGB 图像标识：

• 颜色
• 标签
• 纹理
• 形状
• 可读场景

事件相机提供：

• 瞬时运动
• 物体轨迹
• 边缘信息
• 高动态范围感知

这种互补关系在计算机视觉研究领域已引起了广泛关注。.

现代人工智能模型越来越多地将RGB帧与事件流相结合，以提升：

• 目标检测
• 物体追踪
• 姿态估计
• SLAM
• 机器人导航
• 自动驾驶

工业检测领域也呈现出同样的趋势。.

三重力量：原声 + RGB + 活动

每种传感技术都能提供独特的信息。.

当这些部分结合在一起时，整个系统的智能程度远超各部分的简单相加。.

它们共同回答了三个基本问题：

这种统一的认知极大地提升了人工智能的决策能力。.

多模态融合价值矩阵

在比较不同的组合时，传感器融合的实际优势就显得更加明显了。.

多模态融合并非要取代现有的检测系统，而是能提升工业诊断的每个环节。.

人工智能让传感器融合功能更加强大

仅凭传感器融合就很有价值。.

人工智能使这一价值成倍增长。.

现代深度学习算法能够同时整合来自多种感知模态的信息。.

多模态人工智能模型并非独立处理图像和声音，而是学习以下要素之间的关系：

• 声音频率
• 声强
• 空间定位
• 物体外观
• 运动轨迹
• 时间行为

这使得人工智能系统能够识别出仅靠单个传感器无法识别的复杂故障模式。.

例如，一个人工智能模型可以同时确定：

• 高频轴承噪音
• 源自 Motor #6
• 当轴正在加速时
• 在机械载荷不断增加的情况下
• 表明轴承出现早期疲劳

如此全面的诊断不仅能显著降低维护成本，还能最大限度地减少意外停机时间。.

为什么多模态感知正成为“工业4.0”的标准

“工业4.0”强调智能工厂，其中机器能够持续进行自我监测。.

未来的工业检测系统将越来越依赖集成式传感技术，而非孤立的设备。.

多模态感知支持：

• 预测性维护
• 自主检测机器人
• 智能制造
• 数字孪生
• AI质量检测
• 工业边缘计算
• 智能监控
• 人机协作

工厂将不再仅依赖目视检查，而是将声学、视觉、热成像、振动、雷达和环境传感器整合到统一的人工智能平台中，使该平台能够实时理解复杂的工业环境。.

声学成像有望成为这一更广泛生态系统中最重要的传感模式之一。.

多模态传感领域的最新进展：从研究到产业创新

的收敛 声学相机, RGB摄像头以及 活动摄像机 这已不再是一个仅局限于学术实验室的理论概念。近年来，各大学、研究机构和领先的科技公司在能够同时理解声音、视觉和动作的多模态感知系统方面取得了显著进展。.

这些创新正在为下一代智能检测系统、自主机器人以及基于人工智能的工业平台奠定基础。.

研究人员并非要取代传统传感器，而是展示了不同的传感模式如何相互补充，从而克服单项技术无法独立解决的局限性。.

Acoustic Vision 正从 2D 向 3D 转型

传统的声学相机主要用于估算声源的方向，并将声学热力图投影到二维图像上。.

虽然这种方法在许多工业检测中非常有效，但工程师们越来越需要更精确的三维定位。.

请考虑以下情况。.

空气压缩机安装在防护柜内。.

声学摄像机检测到异常噪音。.

然而，在同一视野内，有几个机械部件相互重叠。.

究竟是哪个部件发出的声音？

传统的二维定位可能无法给出确切的答案。.

最近的研究通过将麦克风阵列与RGB-D成像系统相结合，解决了这一难题。.

深度信息使人工智能算法能够重建环境的三维几何结构，同时估算声信号的空间来源。.

其结果是定位精度大大提高，即使声源被其他结构部分遮挡也是如此。.

这标志着在迈向真正智能的工业感知方面迈出了重要一步。.

“看不见”的声音来源正变得“可见”

近期研究中最令人振奋的进展之一，是能够定位 隐藏或被遮挡的声源.

多模态人工智能系统不仅能识别声音在平面图像中的出现位置，还能推断出声音源在复杂机械内部的实际物理位置。.

这方面的例子包括

• 内部轴承故障
• 封闭式齿轮箱的缺陷
• 隐蔽的空气泄漏
• 开关设备内部的电弧放电
• 防护罩后方的机械磨损

通过将声学定位与三维视觉理解相结合，检测系统对维护工程师的实用性得到了显著提升。.

不要说：

“声音就在这附近。”

该系统可以显示：

“异常声响来自3号泵的后轴承座。”

这种精度水平能显著缩短故障排查时间。.

人工智能正在学习同时理解声音和视觉

传统上，声学处理和计算机视觉是作为两个独立的研究领域发展起来的。.

如今，人工智能正在将它们结合在一起。.

现代多模态学习模型可同时分析：

• 声学信号
• RGB图像
• 运动信息
• 时间关系
• 空间几何

人工智能并非独立处理每个传感器，而是学习它们之间的关联。.

例如

轴承噪音的增大可能与以下情况同时发生：

• 轴振动加剧
• 更高的转速
• 齿轮对中位置的微小变化
• 工作温度升高
• 事件摄像头检测到轻微移动

通过综合分析所有可用证据，人工智能能够比传统监测系统更早地识别出复杂的故障模式。.

基于事件的视觉技术正在推动工业人工智能的发展

发展最快的研究方向之一是基于事件的视觉。.

与传统相机反复捕捉完整图像帧不同，事件相机仅报告亮度变化。.

这种看似简单的差异，在保留极快运动的同时，极大地减少了冗余信息。.

研究人员已经证明，将RGB数据与事件数据相结合，可以显著提升：

• 目标检测
• 物体追踪
• 人体活动识别
• 机器人导航
• 同步定位与建图（SLAM）
• 动态场景重建

工业检测同样遵循这些原则。.

在RGB图像中显得模糊的快速移动设备，在事件数据中仍能清晰呈现。.

与声学定位同步后，对移动声源的追踪就变得容易得多。.

传感器融合正在改变数字孪生的面貌

数字孪生已成为“工业4.0”的核心技术之一。.

数字孪生利用实时传感器信息，持续反映物理设备的运行状态。.

从历史上看，数字孪生主要依赖于：

• 振动传感器
• 温度传感器
• 压力传感器
• PLC数据
• 视觉系统

如今，声学成像正逐渐成为一种越来越有价值的数据来源。.

声学信息往往能揭示其他传感器尚无法探测到的早期阶段断层。.

当与RGB成像和基于事件的运动检测相结合时，数字孪生能够对设备健康状况进行更全面的了解。.

未来的数字孪生将不仅仅是对设备进行可视化呈现。.

此外，他们还将：

• 倾听机器的声音
• 观察机器的运动
• 了解异常运行行为
• 在故障发生前进行预测

多模态声学成像的工业应用

多模态传感的实际价值几乎涵盖了所有工业领域。.

以下是一些最具前景的应用领域。.

预测性维护

预测性维护仍是声学成像技术最大的应用市场之一。.

设备很少会在毫无征兆的情况下发生故障。.

在发生灾难性故障的很久之前，机器就开始产生细微的声学特征。.

这方面的例子包括

• 轴承磨损
• 齿轮齿缺陷
• 皮带打滑
• 泵空化
• 漏气
• 阀门泄漏
• 电弧

声学相机能在早期阶段识别出这些异常。.

RGB摄像头用于确定受影响的机器部件。.

事件相机可捕捉导致故障发生的动态行为。.

它们共同构成了一个完整的诊断工作流程。.

维护团队不仅能检测到异常声音，还能理解：

• 哪些设备受到影响
• 故障位置
• 断层随时间的变化过程

智能制造

现代生产线越来越依赖于能够不间断运行且不影响生产的人工智能检测系统。.

多模态感知能够实现：

• 设备连续监测
• 自动化质量检测
• 生产异常检测
• 机器人辅助维护
• 智能流程优化

声学成像技术能够识别机械的异常声音，而视觉传感器则用于验证产品质量和设备状态。.

这种组合能显著减少非计划停机时间。.

机器人与自主机器

工业机器人必须借助视觉以外的其他方式来感知周围环境。.

未来的机器人需要具备以下能力：

• 检测人声
• 识别警报声
• 定位机器故障
• 移动设备追踪
• 应对动态环境

多模态感知提供了这一能力。.

声学相机用于探测声源。.

RGB摄像头能够识别人和物体。.

事件相机可捕捉快速运动。.

它们共同使机器人的行为更加智能。.

应用领域包括：

• 自主移动机器人（AMR）
• 自动导引车（AGV）
• 仓库机器人
• 检测机器人
• 服务机器人
• 类人机器人

电力与能源基础设施

电气设备在出现可见故障之前，往往会产生超声波辐射。.

典型的检查对象包括：

• 高压开关设备
• 变形金刚
• 变电站
• 断路器
• 配电柜

声学相机能够识别：

• 局部放电
• 冠状放电
• 电弧放电
• 燃气泄漏

RGB摄像头可提供视觉记录。.

事件相机在户外光照条件变化时仍能有效工作。.

这种组合既提高了检查安全性，又减少了对人工检查的需求。.

可再生能源

风电场和太阳能电站覆盖了广阔的地理区域。.

例行检查既费人又费钱。.

多模态感知能够实现：

• 风力发电机齿轮箱监测
• 发电机检查
• 叶片状态评估
• 散热风扇诊断
• 逆变器监控

配备声学成像系统的自主检测机器人和无人机能够以显著更高的效率执行例行检测任务。.

铁路与交通运输

铁路系统会产生海量的声学信息。.

车轮缺陷、轴承磨损、轨道损坏以及制动异常都会产生具有特征性的声学信号。.

声学成像有助于识别：

• 轮胎扁了
• 轴承缺陷
• 制动系统异常
• 轨道接头问题

RGB摄像头可识别车牌号码。.

事件摄像机能准确捕捉高速列车的运行情况。.

它们共同提供了全面的铁路检测能力。.

智慧城市与公共安全

城市环境中的传感器正变得越来越多。.

未来的智慧城市将整合多种感知模式，以提升安全水平和基础设施管理水平。.

潜在的应用包括：

• 交通监测
• 公共基础设施检查
• 应急响应
• 人群安全
• 环境噪声监测
• 公用设施维护

与仅依赖视频监控不同，多模态系统通过声音和视觉双重途径提供态势感知能力。.

SISTC 如何推动新一代声学成像解决方案的发展

随着各行业逐步采用多模态感知技术，硬件平台必须具备更高的灵活性、可扩展性，并做好支持人工智能的准备。.

在 SISTC, 我们专注于开发先进的 MEMS 麦克风阵列, 声学成像模块以及 智能传感解决方案 这些技术为下一代工业检测系统奠定了坚实的基础。.

我们的解决方案旨在与RGB摄像头、事件摄像头、AI处理器和边缘计算平台实现无缝集成，从而帮助OEM客户在降低系统复杂性的同时加速产品开发。.

主要功能包括

• 高性能MEMS麦克风阵列模块
• 实时波束成形与声源定位
• 用于预测性维护的声学成像
• 支持人工智能的音频前端硬件
• 面向边缘AI应用的嵌入式信号处理
• 灵活的OEM/ODM定制服务
• 对机器人技术、工业自动化、智能制造及智能传感平台的支持

无论您是在开发自主检测机器人、基于人工智能的监控系统，还是定制型工业声学相机，SISTC 都能提供构建可靠且可扩展的解决方案所需的核心传感技术。.

了解我们的声学成像与智能传感解决方案：

https://sistc.com/product-category/sensor-module/product-category-acoustic-imaging-intelligent-sensing

多模态感知的前景：超越视觉与听觉

工业传感正迈入一个变革时代。在过去的二十年里，机器视觉使工厂能够“看见”；声学成像使工程师能够“听见”；而基于事件的视觉技术则带来了以前所未有的时间精度感知运动的能力。.

未来十年将不再由单一的传感技术来定义，而是由 他们合作的效果如何.

未来的智能系统不会仅仅检测孤立的信号。相反，它们将持续解读声音、运动、外观、温度、深度、振动以及环境条件之间的关系，从而对物理世界形成全面的理解。.

这一转变体现了从……到……的演变 单传感器检测 至 多模态感知.

对于工业人工智能而言，这意味着：

• 更早的故障检测
• 更高的诊断可信度
• 误报减少
• 降低维护成本
• 提高生产运行时间
• 更智能的自主系统

未来的工厂不会仅依赖一个“智能传感器”。它将依赖于 多个智能传感器协同工作.

具身人工智能时代的声学成像

人工智能正从分析数据的软件迅速演变为能够与物理世界进行交互的系统。.

自主检测机器人、协作机器人（cobots）、服务机器人以及智能移动平台都需具备全面的环境感知能力。.

人类天生就会将听觉与视觉结合起来。.

当我们听到异常的声音时，我们会下意识地朝声音传来的方向看去。.

未来的机器人也将以完全相同的方式运行。.

智能机器人可能：

• 听到轴承发出异常噪音。.
• 通过外观识别该机器。.
• 跟踪运动部件。.
• 确定故障严重程度。.
• 建议采取维护措施。.
• 将报告结果上报至云管理平台。.

这种感知水平需要多模态感知。.

声学相机、RGB相机和事件相机将成为未来机器人感知系统中相互补充的组成部分。.

为什么MEMS麦克风阵列将变得更加重要

多模态人工智能的快速发展极大地提升了 MEMS 麦克风阵列技术.

现代麦克风阵列的功能远不止于音频录制。.

它们能够实现：

• 波束成形
• 到达方向（DOA）估计
• 声源定位 (SSL)
• 声成像
• 人工智能语音交互
• 环保意识
• 智能设备诊断

随着人工智能算法的不断改进，高质量声学数据的价值也将持续提升。.

未来的智能系统将越来越依赖于能够与视觉传感器协同工作的、准确、同步且低噪声的麦克风阵列。.

选择合适的声学成像平台

选择声学成像解决方案，不仅仅取决于麦克风的数量。.

工程师应评估以下几个关键因素：

麦克风阵列设计

天线阵列的几何结构直接影响定位精度、频率响应和波束成形性能。.

同步精度

在集成RGB摄像头和事件摄像头时，麦克风同步变得越来越重要。.

波束成形算法

先进的自适应波束成形技术可实现更高的空间分辨率和更好的噪声抑制效果。.

AI 兼容性

现代平台应支持用于声音分类、异常检测和预测性维护的人工智能框架。.

系统集成

工业应用越来越需要与以下方面兼容：

• RGB摄像头
• 事件相机
• 热成像摄像机
• 边缘AI处理器
• 工业以太网
• ROS
• 嵌入式Linux

如今选择一个可扩展的平台，可以降低未来的开发成本。.

OEM厂商和系统集成商为何正转向模块化声学平台

许多设备制造商已不再从头开始开发完整的声学成像系统。.

相反，他们将模块化传感平台集成到现有产品中。.

这种方法具有以下几个优点：

• 加快产品开发速度
• 降低工程成本
• 久经考验的声学性能
• 更轻松地集成人工智能
• 灵活定制
• 缩短产品上市时间

对于机器人公司、工业自动化供应商、机器视觉系统集成商以及预测性维护解决方案开发商而言，模块化声学传感技术不仅能显著降低技术复杂性，还能加速产品商业化进程。.

常见问题解答（FAQ）

什么是声学相机？

声学相机将MEMS麦克风阵列与波束成形算法相结合，可实时可视化声源，从而帮助工程师快速定位异常噪声的来源。.

声学相机是如何工作的？

多个同步麦克风同时采集声音。波束成形算法通过计算各麦克风之间的时间差和相位差，来估算声源位置并生成声学热力图。.

什么是波束成形？

波束成形是一种信号处理技术，它能够聚焦来自特定方向的声音，同时抑制来自其他方向的干扰噪声。.

什么是声源定位（SSL）？

声源定位技术利用多个麦克风和先进的信号处理算法，确定声源的方向或位置。.

哪些行业使用声学相机？

典型行业包括：

• 制造业
• 汽车
• 能源
• 电力公司
• 铁路
• 航空航天
• 石油与天然气
• 机器人
• 研究实验室

声学摄像机能检测压缩空气泄漏吗？

是的。.

压缩空气泄漏会产生具有特征性的超声噪声，声学摄像机能够迅速检测到这种噪声，即使泄漏点小到无法通过肉眼识别。.

声学相机能检测到电部分放电吗？

是的。.

声学成像技术被广泛应用于识别变电站、变压器和开关设备中的电晕放电、局部放电和电弧放电。.

什么是事件相机？

事件相机是一种受生物启发的视觉传感器，它只记录亮度的变化，而不捕捉完整的图像帧，从而能够以极低的延迟实现超高速运动检测。.

为什么要将声学相机与RGB相机结合使用？

RGB摄像头可识别物体并提供视觉背景信息，而声学摄像头则能定位声源。两者结合，有助于工程师准确判断是哪一个部件发出了异常噪音。.

为什么要将声学相机与事件相机结合使用？

事件相机能够精确捕捉高速运动，且不会产生运动模糊，因此非常适合在工业环境中追踪移动声源。.

声学相机能否集成到机器人中？

是的。.

现代检测机器人越来越多地集成了麦克风阵列、RGB摄像头和人工智能处理器，以实现对环境的全面感知。.

什么是MEMS麦克风阵列？

MEMS 麦克风阵列由多个精密匹配的 MEMS 麦克风组成，这些麦克风按照特定的几何布局排列，用于波束成形、声音定位和声学成像。.

什么是多模态感知？

多模态感知结合了多种类型的传感器——包括声音、视觉、运动、深度及其他模态——从而对周围环境形成更全面的理解。.

为什么多模态感知对“工业4.0”如此重要？

因为没有任何单个传感器能够全面捕捉机器行为的各个方面。将声学、视觉和运动数据相结合，可以显著提高检测精度和预测性维护效果。.

OEM制造商如何加快声学摄像机的开发进程？

许多原始设备制造商（OEM）选择采用集成了麦克风阵列、波束成形算法和支持人工智能的硬件的模块化声学成像平台，从而缩短开发时间并简化系统集成。.

结论

工业检测正超越传统的机器视觉，不断发展。.

声学成像通过将声音“可视化”，已经彻底改变了工程师检测隐藏缺陷的方式。RGB相机继续提供丰富的视觉背景信息，而事件相机则为高速运动感知开辟了新的维度。.

这些技术相结合，构成了智能传感系统，不仅能够回答…… 其中 不仅会出现问题，而且 什么 正在发生，而且 如何 它会随着时间的推移而演变。.

随着“工业4.0”向自主工厂、智能机器人和人工智能驱动的预测性维护迈进，多模态感知将成为工业感知的基础组成部分。.

如今采用集成传感技术的组织，将在开发下一代智能检测系统、智能机器和自主工业解决方案方面占据更有利的地位。.

探索 SISTC 的声学成像与智能传感解决方案

在 SISTC（无锡硅源科技有限公司）, 我们开发先进的 MEMS 麦克风阵列, 声学成像模块以及 智能传感解决方案 面向全球的OEM和工业客户。.

我们的技术支持以下应用：

• 声成像
• 声源定位
• 预测性维护
• 机器人
• 智能制造
• 工业自动化
• 基于人工智能的传感
• 边缘智能

无论您是正在开发声学相机、智能检测机器人，还是多模态传感平台，我们的工程团队都能提供可定制的硬件解决方案，以加速您的产品开发。.

了解我们的声学成像与智能传感产品组合：

https://sistc.com/product-category/sensor-module/product-category-acoustic-imaging-intelligent-sensing

或者联系我们的工程团队，商讨您的OEM或ODM项目需求。.

推荐参考文献

为了帮助读者深入探索多模态传感和声学成像这一更广阔的领域，建议参考以下权威文献：

• He等人，, SoundLoc3D：不可见3D声源定位与分类, WACV 2025。.
• 邹等人，, 基于传感器融合散射技术的高速动态3D成像, arXiv, 2025.
• 吴等人，, CM3AE：一个统一的RGB帧与事件预训练框架, 2025.
• 《IEEE信号处理杂志》——麦克风阵列与波束成形。.
• OpenCV 关于计算机视觉和传感器集成的文档。.
• Prophesee 关于基于事件的视觉技术资源。.
• 索尼活动视觉传感器技术文档。.