链接: https://pan.baidu.com/s/1CYcZ85cu6O-W28WT1ZbItA?pwd=6zwf 提取码: 6zwf
出版社： 电子工业出版社
ISBN：9787121480591
版次：1
商品编码：14673204
品牌：博文视点
包装：平装
丛书名： 通用智能与大模型丛书
开本：16开
出版时间：2024-07-01
用纸：胶版纸
页数：264
正文语种：中文
产品特色
编辑推荐
适读人群 ：初学者，有一定科研经验、希望在相关科研方向进行探索的读者，需要工具书辅助解决实际问题的读者。
全彩印制
高效模型压缩与设计，释放大模型潜能，赋能千行百业
清华大学电子工程系汪玉 宁雪妃 作品
权威：出自芯片领域著名专家之手
系统：系统梳理模型压缩与设计关键技术
经验：提供实践中总结的分析思路和经验
内容简介
本书系统地介绍了高效模型压缩和模型设计的方法，在编写上兼顾理论和实践。本书主体部分详细介绍了模型压缩的方法论，包括高效模块设计、模型剪枝、模型量化、模型二值化、神经网络架构搜索、知识蒸馏几大部分。另外，简要介绍了定制化硬件加速器的设计及大语言模型的加速和压缩。
作者简介
汪玉，清华大学电子工程系长聘教授、系主任，IEEE Fellow，国家自然科学基金杰出青年基金获得者，清华大学信息科学技术学院副院长，清华大学天津电子信息研究院院长。长期从事智能芯片、高能效电路与系统的研究，曾获得4次国际学术会议最佳论文奖及12次最佳论文提名。曾获CCF科学技术奖技术发明一等奖、国际设计自动化会议40岁以下创新者奖、CCF青竹奖等荣誉。2016年，知识成果转化入股深鉴科技，打造了世界一流的深度学习计算平台；2018年，深鉴科技被业内龙头企业赛灵思（现AMD）收购。2023年，推动成立无问芯穹，形成面向大模型的软硬件联合优化平台，在国内外10余种芯片上实现了业界领先的大模型推理性能。
宁雪妃，清华大学电子工程系助理研究员。主要研究方向为高效深度学习。支撑深鉴科技、无问芯穹的早期模型压缩和部署工具链工作；参与10余项高效深度学习相关项目；在机器学习、计算机视觉、设计自动化领域发表学术论文40余篇，其中包含在NeurIPS、ICLR、ICML、CVPR、ICCV、ECCV、AAAI、TPAMI上发表的学术论文共20篇；带领团队在NeurIPS18和CVPR20会议上获得国际比赛奖项。
目录
第1部分 基础
1 绪论 2
1．1 神经网络技术的发展 2
1．2 神经网络的高效化需求 3
1．3 神经网络的高效化路径 4
1．4 本书主要内容 6
2 基础知识 7
2．1 优化问题 7
2．1．1 优化问题的定义和分类 7
2．1．2 优化方法的分类 9
2．2 卷积神经网络模型 10
2．2．1 基础模块 10
2．2．2 代表性模型介绍 13
2．3 视觉Transformer模型 15
2．3．1 基础模块 16
2．3．2 模型分类与总结 18
第2部分 高效模型压缩方法论
3 高效模块设计 20
3．1 概述 20
3．2 代表性模型介绍 21
3．2．1 SqueezeNet 21
3．2．2 MobileNet系列 22
3．2．3 ShuffleNet系列 24
3．2．4 GhostNet 26
3．2．5 ConvNeXt 27
3．2．6 VoVNet系列 28
3．2．7 RepVGG 29
3．3 高效模块的5个设计维度 30
3．4 本章小结 31
4 模型剪枝 32
4．1 模型剪枝的定义和分类 32
4．2 模型敏感度分析方法 34
4．2．1 层内和层间敏感度分析 34
4．2．2 层内敏感度分析指标 35
4．3 结构化剪枝方法 37
4．3．1 基于权重正则的结构化剪枝方法 37
4．3．2 基于搜索的结构化剪枝方法 39
4．3．3 给定资源限制的条件下的结构化剪枝方法 44
4．4 近似低秩分解方法 47
4．5 非结构化剪枝方法 48
4．6 半结构化剪枝方法 51
4．7 针对激活值的剪枝方法 53
4．8 剪枝方法的经验性选择 55
4．8．1 剪枝流程的选择 55
4．8．2 剪枝稀疏模式的选择 56
4．8．3 关于任务性能的经验 56
4．9 Group Lasso结构化剪枝的实践案例 57
4．10 本章小结 60
5 模型量化 61
5．1 模型量化的定义和分类 61
5．2 模型量化过程和量化推理过程 64
5．3 量化格式和操作 65
5．3．1 均匀量化格式 66
5．3．2 非均匀量化格式 68
5．3．3 三种量化操作 71
5．4 量化参数 73
5．4．1 缩放系数 73
5．4．2 零点位置 74
5．4．3 量化位宽 74
5．5 训练后量化75
5．5．1 训练后量化的流程 75
5．5．2 重参数化 76
5．5．3 缩放系数的选取方法 80
5．5．4 量化值调整 83
5．6 量化感知训练 87
5．6．1 基础与流程 87
5．6．2 调整模型架构的方法 90
5．6．3 量化器设计的技巧 92
5．6．4 常用的训练技巧 97
5．7 混合位宽量化 97
5．7．1 基于敏感度指标的混合位宽量化 97
5．7．2 基于搜索的混合位宽量化 99
5．8 量化方法的经验性选择 100
5．8．1 量化流程的选择 100
5．8．2 数据表示的设计和决定 100
5．8．3 算子的选择与处理和计算图的调整 102
5．8．4 关于任务性能的经验 104
5．9 拓展：低比特推理硬件实现 104
5．9．1 定点计算的硬件效率 104
5．9．2 浮点计算转定点计算的原理 105
5．9．3 非均匀量化格式的计算 111
5．9．4 典型的计算单元和加速器架构 112
5．10 拓展：低比特训练简介 115
5．10．1 应用背景 115
5．10．2 挑战分析 116
5．10．3 相关工作 116
5．11 本章小结 117
6 模型二值化 118
6．1 模型二值化的定义和分类 118
6．2 模型二值化的基础：以XNOR-Net为例 120
6．3 二值化方式 122
6．3．1 朴素二值化方式 123
6．3．2 间接二值化方式 127
6．4 训练技巧 131
6．4．1 修改损失函数 132
6．4．2 降低梯度估计误差 133
6．4．3 多阶段的训练方法 135
6．4．4 训练经验 136
6．5 架构设计 137
6．5．1 模型架构的调整 138
6．5．2 模型架构搜索 141
6．5．3 集成方法与动态模型 142
6．6 模型二值化在其他任务与架构中的应用 142
6．7 本章小结 144
7 神经网络架构搜索146
7．1 神经网络架构搜索的定义和分类 146
7．2 搜索空间 149
7．2．1 人工设计搜索空间 150
7．2．2 自动设计搜索空间 154
7．2．3 总结 156
7．3 搜索策略 157
7．3．1 基于强化学习的搜索策略 157
7．3．2 基于进化算法的搜索策略 159
7．3．3 随机搜索策略 160
7．3．4 基于架构性能预测器的搜索策略 160
7．3．5 总结 164
7．4 评估策略 165
7．4．1 独立训练策略