案例类别：人工智能+课堂教学改革

课程名称：工程训练       适用专业：理工类专业

开课学院：工程训练中心    主讲教师：陈劲松

技术类型：机器学习、深度学习、机器视觉、机器人协同、大模型技术等

应用场景：智能制造中基于大模型的多模态机器人协同工作

案例简介

随着人工智能技术的飞速发展，特别是大模型（如深度学习模型、生成式AI等）的广泛应用，机器人领域正迎来一场前所未有的变革。大模型以其强大的数据处理能力、泛化能力和跨模态融合能力，为机器人提供了前所未有的智能水平。在这一背景下，江苏海洋大学工程训练中心进行人工智能赋能工程训练教学模式创新实践，建设了多模态机器人大模型与视觉协同系统。该系统以大模型为核心，以机器人为执行结构，以视觉系统为环境感知单元，可以快速地实现对多种应用需求的自主分析、理解和开发，可以有效地提高生产效率。

一、背景

自大模型技术问世以来，作为人工智能领域的一项关键性突破，正在深刻地重塑着各行各业的发展态势。该技术基于深度学习架构，通过对巨量数据的学习过程，构建起庞大且复杂的知识体系，展现出强大的语言理解、生成以及逻辑推理能力。在自然语言处理、计算机视觉、语音识别等多个领域中，大模型技术已显示出卓越的性能，为智能化应用提供了坚实的技术基础。

DeepSeek大模型自2025年初出现以后，凭借其独特的架构设计与先进的训练算法，在语言理解与生成任务中展现出卓越的性能，通过深度挖掘和学习大规模文本数据，能够以更加低成本的算力需求，实现对用户意图的精准理解，并生成高质量、逻辑性强的文本回复。目前，在知识图谱构建、智能客服、代码开发、机器翻译等众多应用场景中，DeepSeek大模型都取得了显著成效，包括华为、腾讯、三大运营商等在内的国内众多企业，都在陆续与DeepSeek展开合作，预示着其广阔的应用潜力。

在教育领域，大模型技术的应用为教学模式的创新提供了新的视角。通过与教学内容的深度整合，大模型能够实现个性化学习辅助，依据学生的学习状况和个性特征，提供定制化的学习建议和辅导服务。在科研和行业应用领域，大模型技术通过与物理设备相连接，比如视觉、语音、机器人等，可以构建丰富的具身智能场景，从而助力开发人员不断在各行各业提出创新的解决方案，加速大模型在行业落地的进程。

二、案例实施情况

典型应用案例：基于语音指令的智能零件分拣

为直观展示人工智能技术在工程训练中的深度融合，现以“基于语音指令的智能零件分拣”为案例来说明教学过程（图1）。该案例系统整合了机器视觉、语音识别、机器人控制与大模型决策等多种技术。基于多模态机器人大模型的学习和决策能力，机械臂能够自主地规划出最优路径，从而高效地执行各种复杂任务。包括零部件的分类、产品的组装以及其他操作。实现了从“指令输入”到“任务完成”的全流程自动化。

图1案例教学现场

（一）系统组成与操作流程

案例涉及的智能系统包括大模型训练服务器（用于机器人、视觉、语音等数据集的训练和模型生成）、六轴机械臂（实现物体抓取、视觉协同、人机交互、自动教学演示等多种功能）、深度视觉系统（进行深度信息感知、活体识别等）、语音识别系统（支持声音识别、回声消除等功能）。

具体操作流程：首先学生通过自然语言（例如“请先跳一段舞，然后把红色的物体放到盒子里，然后再把盖子盖上”）下达任务指令；利用自建的基于Deepseek和阿里云通义千问的多模态大模型进行语义解析，并对指令进行意图识别与任务分解；再利用工业相机采集图像，YOLO模型进行目标检测与定位。六轴机械臂基于视觉反馈并通过调用大模型生成的指令代码自主规划抓取路径，完成分拣任务；系统记录每次任务执行数据，用于后续模型优化与策略调整（图2）。

图2 案例实施过程

（二）技术融合路径

主要的技术融合路径如表1所示。

表1 技术融合路径

（三）教学实施过程

学生以小组形式接受分拣任务，自主设计解决方案；分阶段训练语音处理、视觉识别、机械臂控制等模块；将各模块整合，调试整体系统，实现端到端任务闭环；通过分拣准确率、响应时间等指标评估系统性能，进行模型调优。

（四）效果评估

相对于传统单模态机器人（仅依赖单一感知方式，如仅通过摄像头进行视觉识别），它能更全面地理解复杂环境、更精准地解读人类意图，从而适应更广泛的应用场景。通过案例应用，学生初步掌握多模态系统集成能力，具备初步的AI应用开发经验；相较于传统编程控制方式，任务完成时间大大缩短；多个小组还可以在此基础上拓展了语音交互逻辑、多机械臂协作等功能，创新能力有效激发。

三、案例创新突破

（一）主要创新内容

本案例围绕大模型驱动的多模态机器人系统构建，推动教学模式从传统技能实训向智能自主化方向转型。主要创新包括：

1. 教学模式重构：突破传统工程训练中“教师演示—学生模仿”的单一模式，引入以大模型为核心的自主学习机制，实现“需求驱动—自主编程—实时执行”一体化教学流程，提升学生解决复杂工程问题的能力。

2. 跨模态协同教学平台建设：集成机器视觉、语音交互与机器人控制等多模态技术，构建软硬一体的智能实训环境。学生可通过语音指令驱动机械臂完成视觉识别、路径规划与任务执行，实现“感知—决策—执行”闭环训练。

3. 开放生态与二次开发支持：开放大模型训练流程、多模态接口与全部源代码，支持师生根据具体应用场景进行模型微调、功能扩展与创新应用开发，推动教学与科研的深度融合。

（二）技术突破内容
本案例在机器人智能化和教育应用层面实现了多项技术突破：

1. 大模型驱动的机器人自主编程技术：基于Transformer架构与强化学习机制，实现机械臂对自然语言指令的解析与代码自动生成，显著降低机器人应用开发门槛。该技术在教育机器人领域中处于先进水平，具备较强的推广性和适应性。

2. 多模态融合与实时决策机制：通过视觉—语音—机器人控制的高效协同，系统具备动态环境感知、多任务调度与实时路径规划能力，支持在非结构化场景中完成装配、分拣等复杂操作，技术实现居于国内同类教学平台前列。

3. 低算力依赖下的高效推理能力：依托DeepSeek等国产大模型基座，在保障响应速度与任务准确性的同时，大幅降低对硬件算力的依赖，更适合高校教学环境中部署与普及。

（三）应用实践突破内容
本案例在应用层面实现了如下突破：

1. 教学实践智能化升级：通过大模型与机器人系统的结合，实现了从“教学生操作”到“教系统思考”的转变，培养学生的人工智能思维与系统集成能力，强化其在智能制造领域的核心竞争力。

2. 跨学科融合与创新能力培养：平台支持机械、计算机、自动化等多专业学生协同开展项目式学习，推动学科交叉与融合创新，助力复合型工程科技人才的培养。

四、推广价值

本案例具备显著的推广价值，主要体现在以下三个方面：

（一）教学应用广泛适用

该系统集成多模态技术与大模型核心能力，提供开放的训练接口与完整源代码，支持不同专业结合自身需求进行二次开发与模型微调，可广泛应用于人工智能、机器人工程、智能制造等多个方向的教学与科研，助力跨学科创新与高水平成果产出。

（二）产教融合深度推进

通过高校与企业实际生产场景对接，该系统能够基于自然语言指令生成可执行代码，大幅降低工业机器人部署门槛与开发成本，为校企合作提供技术桥梁，共同开发行业解决方案，提升生产效益与人才培养针对性。

（三）教学范式创新示范

案例强调学生系统思维与AI应用能力的培养，为高校工程训练课程智能化升级提供了可复制、可推广的实施路径与建设范式，具有重要的参考价值。