一、培训目的
本次培训旨在通过理论与实践相结合的方式，使学员全面掌握大型预训练模型的工作原理、优化技巧以及在各种业务场景下的应用策略。培训致力于培养能够独立构建、优化和部署大模型解决方案的专家型人才。
二、培训要点
♦ 大模型的理论框架与技术背景。
♦ 高效的数据处理与模型微调技术。
♦ 大模型在自然语言处理、计算机视觉、语音识别等领域的具体应用实例。
♦ 如何评估模型性能并解决常见问题。
♦ 大模型前沿技术。
♦ 最佳实践分享与行业趋势解读。
三、证书
课程结束，颁发中科院计算所培训中心“大模型综合应用实战”结业证书。
培训对象
1、有意将AI技术融入业务的企业领导者和技术决策者，意在推动组织的技术革新和智能转型；
2、希望提升技能的软件工程师和数据科学家，寻求提升技能和项目实战经验；
3、对人工智能充满热情的学习者，希望快速学习大模型应用。
本课程分2天时间讲授。
第一讲 人工智能技术发展概览
AI大模型技术发展与演进
人工智能四轮技术特点
AI技术浪潮与企业成就
大模型应用技术总览
提示词（Prompt）工程
AI智能体概览
大模型微调技术路线全览
预训练技术与三种网络架构
第二讲 自然语言处理
统计语言模型
马尔科夫假设
神经网络语言模型
机器学习的分类：监督学习与无监督学习
NNLM模型详解
RNN网络
基于Transformer的大语言模型
Transformer详解
编解码架构与注意力机制
BERT与GPT模型
第三讲 大模型微调技术
大模型微调之PEFT
Adapter核心技术
Prefix Tuning核心技术
P-Tuning v1与 v2
大模型微调之LoRA
LoRA 核心技术
LoRA对比Adapter与Soft Prompts
AdaLoRA与QLoRA
大模型高效微调PEFT
PEFT技术分类
大模型微调发展趋势
第四讲 大模型开发实战
大模型开发工具库 HF Transformers
Transformers库简介
使用Pipelines快速实践大模型
使用Tokenizer编解码文本
使用Models加载和保存模型
部署自己的开发环境
GPU设备选型与部署
VS Code远程环境搭建
实战Transformers模型微调
数据集处理：填充与截断
训练数据与超参数配置
模型训练评估
实战Transformers 微调distilbert模型
实战Transformers模型量化
模型参数与显存占用计算基础
GPTQ 面向 Transformer 模型量化技术
激活感知权重量化（AWQ）算法
使用 BitsAndBytes （bnb）快速实现参数精度量化
大模型高效微调工具HF PEFT
PEFT 与 Transformers 结合
PEFT 核心类定义与功能说明
LoRA 低秩适配 OPT-6.7B 文本生成任务
LoRA 低秩适配 OpenAI Whisper-Large-V2 语音识别任务
实战QLoRA 微调 ChatGLM3-6B
第五讲 LangChain 大模型应用开发框架
大模型应用开发框架 LangChain 简介
LangChain 典型使用场景
LangChain 基础概念与模块化设计
LangChain 核心模块入门与实战
标准化的大模型抽象：Mode I/O
大模型应用的最佳实践：Chains
赋予应用记忆的能力：Memory
框架原生的数据处理流：Data Connection
实战基于LangChain和ChatGLM私有化部署聊天机器人
ChatGLM3-6B 模型私有化部署
LangChain 与 ChatGLM 生态集成
使用 LLMChain 调用私有化 ChatGLM2-6B 模型服务
使用 ConversationChain 实现 ChatGLM2-6B 连续对话
使用 Gradio WebUI 启动聊天机器人
第六讲 实战私有化数据微调
实战私有数据微调ChatGLM3
使用 LangChain + GPT-3.5-Turbo 生成训练数据样例
训练数据解析、数据增强和持久化存储
自动化批量生成训练数据集流水线
使用 QLoRA 小样本微调 ChatGLM3
ChatGLM3 微调前后效果对比
大模型训练过程分析与数据优化
ChatGPT大模型训练技术RLHF
万亿级 Token 预训练语言模型
有监督指令微调（SFT）语言模型
使用 RLHF 实现人类价值观对齐（Alignment）
使用SFT微调预训练语言模型
训练奖励模型（Reward Model）
使用 PPO 优化微调语言模型
第七讲 大模型前沿技术
混合专家模型（MoEs）技术揭秘
多层次混合与表示学习
稀疏门控MoEs
GShard、GLaM、Switch Transormer
走向万亿模型
大模型分布式训练框架Microsoft DeepSpeed
Zero Redundancy Optimizer (ZeRO) 技术
DeepSpeed 框架和核心技术
分布式模型训练并行化技术对比
DeepSpeed 与 Transformers 集成训练大模型
DeepSpeed ZeRO 配置详解
使用 DeepSpeed 单机多卡、分布式训练
实战 DeepSpeed ZeRO-2 和 ZeRO-3 训练
单机单卡，单机多卡训练
集群训练
流水线并行方式
汇款、微信转帐
汇款信息：
单位名称：北京市海淀区中科院计算所职业技能培训学校
开户行：工行海淀西区支行
账号：0200 0045 1920 0043 667
开户银行代码：1021 0000 0458
微信转账：
步骤一：打开微信，扫描二微码付款时，点击打开微信右下角里的“发现”，在列表界面有一个“扫一扫”选项，点击打开“扫一扫”（如下图）：
步骤二：点击打开“扫一扫”后，会出现一个扫描框，将中科院计算所培训中心二维码/条码放入框内，即可自动扫描，并显示支付信息，输入付款金额。
（中科院计算所培训中心二维码）
步骤三：点击 “添加付款备注”，填写付款人姓名和单位全称，所有信息核对无误后，点击“确认付款”，完成支付。
