钉子的生活日记
文章目录

音视频编解码学习笔记

适合目标：系统掌握音视频编解码基础，理解编码为什么存在、常见编码标准、软硬编解码差异以及在直播和会议系统中的作用。
学习定位：这一份偏“底层原理入门 + 工程应用理解”。
学习原则：先理解为什么要压缩，再认识主流编码格式，最后理解它们和业务系统的关系。

目录

  1. 编解码到底是什么
  2. 为什么要编码
  3. 视频编码基础
  4. 音频编码基础
  5. 常见编码标准
  6. 软编解码与硬编解码
  7. 编解码对直播和会议系统的影响
  8. 高频面试题
  9. 一页总结

1. 编解码到底是什么

编码：

把原始音视频数据压缩成更适合存储和传输的格式。

解码：

把压缩后的数据恢复成可播放的音视频数据。

2. 为什么要编码

因为原始音视频数据非常大。

例如：

  1. 原始视频帧体积很大
  2. 原始 PCM 音频数据也很大

如果不编码：

  1. 传输成本极高
  2. 存储成本极高
  3. 网络根本扛不住

3. 视频编码基础

视频编码常见优化思路：

  1. 空间压缩
  2. 时间压缩
  3. 帧内预测
  4. 帧间预测

常见关键概念：

  1. I 帧
  2. P 帧
  3. B 帧
  4. GOP
  5. 码率
  6. 帧率
  7. 分辨率

4. 音频编码基础

音频编码常见关注点：

  1. 采样率
  2. 位深
  3. 声道数
  4. 码率

会议系统里非常常见的音频编码是：

  1. Opus
  2. AAC

5. 常见编码标准

5.1 视频

  1. H.264
  2. H.265
  3. VP8
  4. VP9
  5. AV1

5.2 音频

  1. AAC
  2. Opus
  3. MP3

5.3 如何粗略理解它们

  1. H.264 应用最广
  2. H.265 压缩率更高但生态和授权更复杂
  3. VP8/VP9 常见于 WebRTC/Google 生态
  4. AV1 更先进但计算开销更高
  5. Opus 很适合实时语音

6. 软编解码与硬编解码

6.1 软编解码

  1. 用 CPU 做
  2. 兼容性广
  3. 但 CPU 占用较高

6.2 硬编解码

  1. 用 GPU 或专用单元
  2. 性能和功耗表现更好
  3. 平台差异更大

7. 编解码对直播和会议系统的影响

7.1 对直播

影响：

  1. 带宽成本
  2. 清晰度
  3. 转码成本

7.2 对会议

影响：

  1. 实时性
  2. CPU 占用
  3. 发热和功耗
  4. 弱网下的体验

8. 高频面试题

8.1 为什么要编码

因为原始音视频数据体积太大，必须压缩才能高效存储和传输。

8.2 H.264 和 H.265 的区别

H.265 压缩率更高，但实现复杂度和生态适配成本通常也更高。

8.3 软编解码和硬编解码区别

软编解码更灵活但更耗 CPU；硬编解码性能更好但平台适配更复杂。

8.4 为什么会议系统很关心编解码

因为编解码直接影响会议系统的延迟、流畅度、CPU 占用和网络带宽。

9. 一页总结

9.1 编解码关键词

压缩、I/P/B 帧、GOP、码率、分辨率、软编解码、硬编解码。

9.2 记忆口诀

编码解决压缩，解码负责播放；直播看带宽，会议看实时和 CPU。