AIGC多模态大模型应用工程师

课程介绍：

近屿智能精心设计的多模态大模型应用工程师课程，旨在带领大家深入探索如何利用最前沿的人工智能技术，将简单的文字转化为丰富多彩的多媒体内容，包括文本、图像、语音、音乐和视频。课程从基础的文本生成（文生文）起步，逐步引导大家迈向更高阶的视频创作（文生视频），采用循序渐进的教学方式，让大家在轻松愉快的氛围中掌握图像、语音、音乐和视频的创作技巧。

学习内容：

B1 阶梯

熟练掌握各种多模态大模型工具（Qwen2-VL，GPT4o，可灵大模型等），完成短视频文案、剧本创作，视频剪辑、图像创作、游戏设计、短视频生成等工作，实现工作模式的升级和效率的提升。

B2 阶梯

学习多模态大模型的通用理论基础，获得多模态大模型的高级认知，在MLLM工具使用的基础上，通过API调用完成批量化创作。

B3 阶梯

能够根据应用需求，借助大模型应用框架，集成语言模型以及多模态模型构建应用，扩展大模型能力。

B4 阶梯

针对多模态大模型能力的局限性，对多模态大模型的能力进行可控调优。

课程优势：

● 双模式课堂：直播+录播课程模式

● 线上自习室：腾讯会议线上自习室

● 线下自习室：近屿智能上海总部提供线下自习室

● 实战检测机制：每个学习阶段都匹配对应实战作业

● 全程伴学服务：从入学到学籍期结束提供全程学习辅助及答疑服务

● 专业技术学管多对一技术答疑：多对一专属学习群，专属学管技术答疑帮助，针对性答疑更有效

● 多样化积分奖励机制：通过学习和积极性行为获取积分，学习激励更有效

● 就业面试服务：帮助学员拿到至少5次岗位面试机会，全程匹配简历优化及面试指导服务，从此就业不再难

文生文

介绍如何使用开源的Llama、ChatGlm或者闭源的蛙蛙写作、通义、Kimi等进行AI文本创作，如果你有一些可以模仿的作品集或者自己的历史作品集，可以通过对开源的Llama、ChatGlm进行微调（SFT），让大模型生成海量的类似风格的小说、剧本、软文和广告脚本等。

文生图

会用开源的Flux、Stable Diffusion或者闭源的MidJourney进行AI图片创作，如果你有一些可以模仿的作品集或者自己的历史作品集，可以通过对开源的Flux或者Stable Diffusion进行微调（SFT），让大模型生成海量的类似风格的KV、电商详情页、海报和字体等。

AI语音生成

用开源的GPTSoVits或者闭源的剪映进行AI语音生成，如果你有一些可以模仿的人物音频或者自己的历史音频集，可以通过对开源的GPTSoVits进行微调（SFT），让大模型生成海量的类似风格的语音等。

AI音乐创作

用开源的AudioLDM或者闭源的SunoAI进行AI音乐创作，如果你有一些可以模仿的乐曲集、歌曲集或者自己的历史作品集，可以通过对开源的AudioLDM进行微调（SFT），让大模型生成海量的类似风格的纯音乐或者带歌词的歌曲等。

AI视频创作

用开源的CogVideo或者闭源的极梦、Dream Machine、Runway、Pika进行AI视频创作，如果你有一些可以模仿的视频作品集、电影或者自己的历史作品集，可以通过对开源的CogVideo进行微调（SFT），让大模型生成海量的类似风格的短视频。

结合以上的一些或者全部的开源算法，用Langchain等技术框架开发一个集合AI文本创作，文生图、文生音频、文生音乐和文生视频为一体的多模态大模型AI应用，例如：AI自动剪辑软件筷子科技，非实时数字人合成软件HeyGen和AI电商广告生成软件Fancy Tech等。

就业方向（部分）

多模态算法工程师

平面设计

UI设计

新媒体运营

游戏设计

品牌设计

电商

适合人群：

➢ 设计与创意行业从业者

○ 原画师：需要利用AI来增强创作过程，提高效率和创意表现。

○ AI设计师：专注于使用AI工具进行设计工作，创造视觉内容。

○ AI美术师：结合美术功底与AI技术，进行艺术创作和视觉设计。

○ AI视觉设计：利用AI进行视觉设计，包括界面、插画等。

➢ 媒体与娱乐行业从业者

○ 剪辑师：通过学习AI技术，提高剪辑效率，实现自动化编辑流程。

○ 娱乐媒体行业从业者：需要掌握AI工具来创作或优化娱乐内容，如视频、音乐等。

○ AI内容运营：负责管理和运用AI生成的内容，进行有效的内容策略规划和执行。

➢ 技术开发人员

○ 多模态应用开发工程师：开发结合多种模态（如视觉、语音、文本）的AI应用。

○ 多模态开发工程师：专注于创造能够处理和学习多种类型数据的AI系统。

➢ 市场营销与商业运营

○ 市场营销：利用AI进行市场分析、消费者行为预测和个性化营销内容创作。

○ AIGC内容运营：专注于运营由人工智能生成的内容，包括社交媒体、广告等。

➢ 教育工作者

○ 教育工作者：利用AI工具辅助教学，开发个性化学习内容，提高教学效率。

➢ 新人与转行者

○ 想进入设计行业的应届生：对于刚刚毕业、希望进入设计行业的学生，学习AI技能可以增加就业竞争力。

○ 创意设计相关岗位的AI设计师：对于希望结合创意与技术，从事设计行业的人员。

就业指导

就业准备阶段

● 确认学员基本信息：了解学员的基础信息及就业意向和具体要求。

● 制定个性化就业方案：针对学员个性需求，为学员规划求职方向。

简历与面试准备

● 简历检测与修改：针对学员初始版简历，指导并辅助学员优化简历并制作成品。

● AI模拟面试：提供多次AI模拟面试，丰富学员面试经验并提升面试表达能力。

● 算法面试指导：课程提供2次算法面试指导直播课程。

面试能力提升

● 面试指导：可针对需面试岗位提供一对一视频面试指导，包括技术能力沟通反馈。

● 面试技巧：提供面试礼仪与人事沟通技巧。

● 面试复盘：分析面试表现，并将在下一次面试指导中老师针对性给学员进行提升优化。

先行者面试题共享

● 面试题共享学习：提供学长学姐整理的相关真实面试题与资料。

微软证书

提供免费的考试辅导服务：全面的微软认证考试准备，包括技术考试流程指导、讲师视频教程、考试题库等，帮助考生全面掌握考试所需技能和知识点。

结业证书

完成阶段课程后颁发，由近屿智能JYI颁发，行业认可。涵盖AIGC大模型实战项目，在近屿智能JYI的学习旅程中，学员将经历从基础到进阶，再到实战的全面训练，每一步都为学员的专业成长和实际应用能力的提升打下坚实的基础。

机构优势：

上海近屿智能科技有限公司

上海近屿智能科技有限公司成立于2017年5月，她是一家以AI+RPA+BI技术为核心的人力资源方向的产品和解决方案提供商，拥有基于先进的篇章级语义识别算法和多模态算法构建的人力资源行业超脑-近屿超脑。近屿智能致力于通过先进技术，逐步的将人类从繁重、重复的劳动中解放出来，提升人类工作的效能。

其核心产品AI得贤招聘官是一款智慧招聘管理系统，区别于传统的智能招聘ATS，AI得贤招聘官具有AI多模态算法核心，能够替代人类面试官对候选人的核心价值观，通用素质，潜在领导力和专业素质进行基于视频面试的判断，是一款L5级别AIGC面试系统。该系统已经被包括三星中国、招商银行、西门子等众多大客户验证可以完全替代人类面试官进行招聘面试场景的最终决策。

AI得贤招聘官已上架至SAP APP Center，在200个国家和地区，向SAP的全球客户提供AI招聘和面试科技解决方案。AI得贤招聘官也已登录钉钉开放平台，为3000多万家中小型客户提供千企千面的招聘自动化、AI视频面试、模拟编程、认知能力测试、职业性格测试、心理测评等服务。

【机构荣誉】

【融资历史】

AIGC多模态大模型应用工程师