清华大学-中国移动联合研究院高飞飞：基于环境语义的通感融合技术，将传统通

日前，在中国移动2022科技周迎接未来mdashmdash6G协同创新技术研讨会最后，清华大学—中国移动联合研究院高菲菲教授发表了题为基于计算机视觉的感知通信融合理论及关键技术研发进展的主题演讲，介绍了基于环境语义的通感融合技术的研发进展。

高菲菲教授介绍，利用环境感知信息或环境语义辅助交流的通感融合技术已经成为6G的重要方向之一清华大学—中国移动联合研究院语义通信团队提出了基于环境感知的毫米波波束管理方案，搭建了通感融合原型平台，完成演示验证结果表明，环境语义能够有效增强现有的毫米波传输性能，并可扩展到其他空中接口方案

高菲菲教授指出，6G采用的高频毫米波通信面临两个亟待解决的关键问题:一是天线阵毫米波波束依赖直达路径通信，当直达路径被阻断时，通信就会中断，其次，毫米波天线的端波束需要定向发射，需要基站和用户终端实时选择最优波束方向传统的波束跟踪方法采用大时延的穷举搜索方法，无法满足复杂时变动态环境下的实时通信要求这些问题是传统通信研究难以解决的，利用智能技术提取环境语义信息，利用环境语义辅助使能6G通信，可以解决这些问题

图1:系统平台架构

高菲菲教授介绍了原型系统的架构和原理，使用立体深度相机，激光雷达等高精度传感器，使用可视化场景，使用基于深度神经网络的智能算法提取环境语义基于环境语义，实现了语义辅助的实时波束跟踪和高精度遮挡预测一站双频通信架构的设计使得系统在被阻断后仍能保证可靠的数据传输

视觉环境语义辅助的毫米波波束实时跟踪和遮挡预测有两个主要内容:一是融合深度图像和激光雷达点云，结合特征识别的深度卷积神经网络实时提取多模态语义信息，从而推断当前最优波束方向，实现低延迟动态波束跟踪，其次，结合卷积和LSTM时间序列神经网络结构，设计了一种高效的遮挡预测网络，融合多模态环境语义和信道语义，预测未来某段时间内是否会出现遮挡，从而提前通知毫米波通信系统切换到sub6G频段，避免因遮挡造成的通信中断，实现遮挡预测。

图2:光束跟踪和遮挡预测算法的图示

该平台的特点是:第一，实用高效实际上，我们的平台已经在室内，室外道路，室外工厂等场景进行了测量在效率方面，我们的平台可以实现波束跟踪和遮挡预测，而不需要带内开销光束的跟踪时延仅为20ms，可在未来0.3~0.5秒内预测闭塞，准确率达90%以上其次，提出了环境语义深度学习辅助无线通信的新方法，可以克服传统毫米波通信中波束跟踪延迟长，精度低，通信中断等问题最后，它具有通用性，基于环境语义提取，可以提取多种环境下的关键通信信息，从而保证通信的稳定性和可靠性

高菲菲教授表示，基于环境语义的毫米波通信的本质是从改造传统通信，被动接收转到主动感知利用该方案，发送方和接收方可以主动提取多模态语义信息，设计智能算法主动判断环境特征，调整通信方案该平台的算法不仅可以应用于基站—接收机架构，还可以结合智能反射器RIS进行高效通信，并部署在多个基站上，从而应用于更广泛的大规模部署场景

图3:道路场景测量

图4:工厂场景测量