直播和视频

视频知识

编解码

编码就是压缩,解码就是解压缩。视频文件的本质其实就是图片的集合而已,当一段连续的图片不断的出现在人眼前 (一般一个连贯的电影或者动画至少要求一秒24帧,也就是一秒内连续出现24张图片),肉眼就会“欺骗性”的告诉大脑我们在看一个视频,而不是幻灯片。
假设一张像素为1280X720 (清晰度,宽1280个像素点,高720个像素点) 的图片,大小为约为1280X720X3 bytes, 就是2.7MB。大家可以猜想一下为何我这里还需要乘以一个数字3. 那么一段60秒钟的小电影,就需要60X24(24张图片)X2.7MB ,约为3.9GB 了!
在播放器的客户端,不管是 PC,手机也好,他们要显示在屏幕上的,必须是实实在在的图片啊,所以这些被压缩过的文件最终又必须被还原成图片格式,这就是解码,解压缩。

H.264/265都是编解码规范

MP4

呆坐了整整30s。那么对于这种“静态的场景”,视频压缩算法会只取这三十秒的前几帧作为基准帧图片,对其余的29s 的帧,采取只保存“不同的部分”的策略,这样就不用保存这些差不多相同的图片,这种做法叫“去冗余”。大大减少了视频的体积。
mp4, rmvb, avi,他们应该被叫做容器文件 (序列)。。。。因为一个容器里,不仅仅包括了视频 (video) 数据(轨道),还包括了 (audio) 音频数据,有的容器还内嵌字幕,那么就还有文字 (Text) 数据。
MP4 文件里面最重要的却是这个 MetaData,它包含了很多关于视频的原始数据,比如视频的大小,视频的时长,还有一个索引表,这个索引表包含了不同轨道的起始位置。
举个简单的例子,有些电影包含粤语,国语两个声道。我们想换声道的时候会告诉播放器,我想听粤语,那么播放器会去索引表查找粤语的轨道起始位置,并且源源不断的读取粤语音轨的数据并播放出来。
直接看某一段视频,其实就是 http 的分段式下载 RANGE 的 header

编码格式

对于我们来说,最常见的视频格式就是 MP4格式,这是一个通用的容器格式。所谓容器格式,就意味内部要有对应的数据流用来承载内容。而且既然是一个视频,那必然有音轨和视轨,而音轨、视轨本身也有对应的格式。常见的音轨、视轨格式包括:

视轨:其中,目前大部分 Android 手机都支持 H.264 格式的直接硬件编码和解码;对于 H.265 来说,Android 5.0 以上的机器就支持直接硬件解码了,但是对于硬件编码,目前只有一部分高端芯片可以支持,例如高通的 8xx 系列、华为的 98x 系列。对于视轨编码来说,分辨率越大性能消耗也就越大,编码所需的时间就越长。
音轨:AAC
h265 体积差不多是同质量的 h264 的一半

码率

同一个压缩格式下,码率越高质量也就越好,码率越高越清晰,反之则画面粗糙而多马赛克
码率:影响体积,与体积成正比:码率越大,体积越大。清晰度正比
码率(码流率)=采样率 x 位深度 x 声道
文件大小 = 码率 x 时长
码率不是越大越好,码率超过一定数值,对图像的质量没有多大影响。太大体积也大,意味着更多的费用开支。
采样率(帧率)越高,就能越真实低保留【原始模拟的音视频细节】

帧率(FPS)

帧率就是在1秒钟时间里传输的图片的帧数
影响画面流畅度,与画面流畅度成正比:帧率越大,画面越流畅;帧率越小,画面越有跳动感。如果码率为变量,则帧率也会影响体积,帧率越高,每秒钟经过的画面越多,需要的码率也越高,体积也越大。
高于16的时候,就会认为是连贯的
帧率不要超过24

分辨率
影响图像大小,与图像大小成正比:分辨率越高,图像越大;分辨率越低,图像越小。

直播

1240

音、视频的采集、处理(美颜、滤镜)、编码(h264、AAC)、推流、拉流
直播可以通过 UDP 降低传输延迟。

播放端
ijkplayer 是基于 FFmpeg 的跨平台播放器,这个开源项目已经被多个 App 使用,其中映客、美拍和斗鱼使用了 ijkplayer(5700+️)
美颜:美摄 sdk

推送端
个人的话 GitHub 上有很多开源项目。商用的话可以选择各大厂商的 SDK,网易直播云、七牛、阿里、腾讯、百度、新浪都有。
使用直播云的好处就是能快速上线 App,功能十分齐全,可以播放器和推流端,服务器一套下来,有专业客服人员帮助集成到工程中,缺点就是流量费太贵了,具体可以了解下各大厂商的收费标准。

软解和硬解

视频解码工作从处理器那里分离出来,交给显卡去做,这就叫做“硬解码“,纯粹的“硬解码”在现阶段是不存在的,CPU依然在发挥一部分作用,只不过硬解码时GPU/VPU已经成为运算的主力。

[[直播和视频]]

流程

我们分别从摄像头 / 录音设备采集数据,将数据送入编码器,分别编码出视轨 / 音轨之后,再送入合成器(MediaRemuxer 或者类似 mp4v2、FFmpeg 之类的处理库),最终输出 MP4 文件。
unknown_filename.1

对于目前的视频类 App 来说,还有各种各样的滤镜和美颜效果,实际上都可以基于 OpenGL 来实现。

视频编辑

在当下视频类 App 中,你可以见到各种视频裁剪、视频编辑的功能,例如:
裁剪视频的一部分。
多个视频进行拼接。

对于视频裁剪、拼接来说,Android 直接提供了 MediaExtractor 的接口,结合 seek 以及对应读取帧数据 readSampleData 的接口,我们可以直接获取对应时间戳的帧的内容,这样读取出来的是已经编码好的数据,因此无需重新编码,直接可以输入合成器再次合成为 MP4。
unknown_filename.2
我们只需要 seek 到需要裁剪原视频的时间戳,然后一直读取 sampleData,送入 MediaMuxer 即可,这是视频裁剪最简单的实现方式。
上面是基础的视频裁剪流程,对于视频拼接,也是类似得到多段 H.264 数据之后,才一同送入合成器。
MediaPlayer 无法精准的 seek

视频特效滤镜
播放的视频可能是作为视频编辑的一部分,在剪辑时需要实时预览视频特效。我们可以简单配置播放视频的 View 为一个 GLSurfaceView,有了 OpenGL 的环境,我们就可以在这上实现各种特效、滤镜的效果了。而对于视频编辑常见的快进、倒放之类的播放配置,MediaPlayer 也有直接的接口可以设置。一般的流程是下面这样的。
unknown_filename.3
我们将解码之后的渲染交给 OpenGL,然后输出到编码器的 InputSurface 上,来实现整套编码流程。

视频播放

  1. 需要播放的视频可能本身并不在本地,很多可能都是网络视频,有边下边播的需求。
  2. 播放的视频可能是作为视频编辑的一部分,在剪辑时需要实时预览视频特效。
    对于第二种场景,我们可以简单配置播放视频的 View 为一个 GLSurfaceView,有了 OpenGL 的环境,我们就可以在这上实现各种特效、滤镜的效果了。而对于视频编辑常见的快进、倒放之类的播放配置,MediaPlayer 也有直接的接口可以设置。

虽然 MediaPlayer 也能实现在线视频播放,但实际使用下来,会有两个问题:

  • 通过设置 MediaPlayer 视频 URL 方式下载下来的视频,被放到了一个私有的位置,App 不容易直接访问,这样会导致我们没法做视频预加载,而且之前已经播放完、缓冲完的视频,也不能重复利用原有缓冲内容。
  • 同视频剪辑直接使用 MediaExtractor 返回的数据问题一样,MediaPlayer 同样无法精确 seek,只能 seek 到有关键帧的地方。

对于第一个问题,我们可以通过视频 URL 代理下载的方式来解决,通过本地使用 Local HTTP Server 的方式代理下载到一个指定的地方。现在开源社区已经有很成熟的项目实现,例如 AndroidVideoCache。
而对于第二个问题来说,可以直接使用 Google 开源的 ExoPlayer,简单又快捷,而且也能支持设置在线视频 URL。

边下边播

常见的网络边下边播视频的格式都是 MP4,但有些视频直接上传到服务器上的时候,我们会发现无论是使用 MediaPlayer 还是 ExoPlayer,似乎都只能等待到整个视频都下载完才能开始播放,没有达到边下边播的体验。
这个问题的原因实际上是因为 MP4 的格式导致的,具体来看,是跟 MP4格式中的 moov 有关。

MP4 格式中有一个叫作 moov 的地方存储这当前 MP4 文件的元信息,包括当前 MP4 文件的音轨视轨格式、视频长度、播放速率、视轨关键帧位置偏移量等重要信息,MP4 文件在线播放的时候,需要 moov 中的信息才能解码音轨视轨。

而上述问题发生的原因在于,当 moov 在 MP4 文件尾部的时候,播放器没有足够的信息来进行解码,因此视频变得需要直接下载完之后才能解码播放。因此,要实现 MP4 文件的边下边播,则需要将 moov 放到文件头部。目前来说,业界已经有非常成熟的工具,FFmpeg 跟 mp4v2都可以将一个 MP4 文件的 moov 提前放到文件头部。例如使用 FFmpeg,则是如下命令:

1
ffmpeg -i input.mp4 -movflags faststart -acodec copy -vcodec copy output.mp4

在视频播放的实践中,除了 MP4 格式来作为边下边播的格式以外,还有更多的场景需要使用其他格式,例如 m3u8、FLV 之类,业界在客户端中常见的实现包括 ijkplayer、ExoPlayer,有兴趣的同学可以参考下它们的实现。

AndroidVideoCache

过时了,ExoPlayer Cache 就支持
AndroidVideoCache 是一个音视频缓存库,用于支持 VideoView/MediaPlayer, ExoPlayer , IJK 等播放器的边下载边播放,按照 github 列出支持的特性如下:
视频文件缓存,预缓存(秒开处理),监控

1
2
3
HttpProxyCacheServer proxy = getProxy();//注意不能传入本地路径,本地的你还传进来干嘛。
String proxyUrl = proxy.getProxyUrl(VIDEO_URL);
videoView.setVideoPath(proxyUrl);

该项目的原理其实就是将流数据源 url 地址转化为本地的代理服务器 url
http://127.0.0.1:LocalPort/url ,然后它开一个服务器一边下载缓存视频,一边把缓存的数据正常返回给你的播放器,如果已经缓存过的这里会返回一个本地文件路径

您可以使用 exoPlayer 与 AndroidVideoCache。查看分支中的 sample 应用 exoPlayer。注意 exoPlayer 也支持缓存。

腾讯云直播

注意

  • 使用云直播服务,至少需要2个域名,一个作为推流域名,一个作为播放域名,推流和播放不能使用相同的域名,备案的域名。添加成功后,系统会为您自动分配一个 CNAME 域名,但 CNAME 域名不能直接访问,您需要在域名服务提供商处完成 CNAME 配置,配置生效后,即可享受云直播服务。

  • 增值计费项为直播转码、直播录制、直播截图、直播鉴黄和移动直播连麦费用,这五项为标准直播的增值功能,您可以按需使用,根据您的实际使用情况进行付费。

  • 播放地址StreamName 要与推流地址 StreamName 一致才能播放对应的流。
    unknown_filename.3

unknown_filename.6
云点播录制

CNAME
即别名记录。这种记录允许您将多个名字映射到另外一个域名。从一个域名到另一个域名
简单来说,A记录就是把一个域名解析到一个IP地址,而CNAME记录就是把域名解析到另外一个域名。比如www.baidu.com,这个二级域名解析到的是一个服务器的IP地址,比如8.8.8.8,而CNAME是将新域名,比如:a.www.baidu.com解析到另外一个域名,比如:www.baidu.com。
CNAME在CDN中的应用
子域名
unknown_filename.4
unknown_filename.5

直播转码功能(包含视频转码和音频转码)
指将直播现场推送出来的原始流,在云端转换为不同编码格式、不同分辨率、不同码率的转码流推送给观众,以满足不同网络环境、不同终端设备等各种场景下的播放需求。
将原始视频流中打上官方自定义水印

demo图

https://github.com/tencentyun/MLVBSDK/tree/master/Android/Demo

推流失败问题排查
创建房间失败[获取推流地址失败]

https://cloud.tencent.com/document/product/267/7972

在所有检查开始之前,您务必要先检查一下地址是否正确,因为这里出错概率最高,腾讯云的直播地址分推流地址和播放地址两种,我们要首先排除误拿推流地址来播放的错误。

创建直播间失败的原因
需要绑定已备案域名才能进行播放。现在没有配置所以接口在获取推拉流地址时返回失败。绑定域名可以进入 https://console.cloud.tencent.com/live/domainmanage 进操作
①、没有购买连麦套餐;②、没有域名备案

获取直播推流地址向后台请求用于直播推流用的推流地址
接口名:get_anchor_url

“小直播”需要搭建自己的后台,开通对象存储服务(COS)对象存储服务主要用于小直播 App 中的直播封面图片和个人头像存储。
https://cloud.tencent.com/document/product/454/15187

unknown_filename.1

码率、分辨率自适应
设置场景化配置后,SDK 内部会根据场景自动选择相关的配置参数,所以我们这里把内部的config获取出来,赋值到外部。

TRTC SDK 实现一个既支持视频连麦,又支持上万人高并发观看的在线直播功能

常见的直播协议
目前常见的直播协议有三种:RTMP、 FLV 和 HLS。

  • RTMP:RTMP 协议比较全能,既可以用来推送又可以用来直播,其核心理念是将大块的视频帧和音频帧拆分,然后以小数据包的形式在互联网上进行传输,而且支持加密,因此隐私性相对比较理想,但拆包组包的过程比较复杂,所以在海量并发时也容易出现一些不可预期的稳定性问题。
  • FLV:FLV 协议由 Adobe 公司主推,格式极其简单,只是在大块的视频帧和音视频头部加入一些标记头信息,由于这种简洁,在延迟表现和大规模并发方面都很成熟,唯一的不足就是在手机浏览器上的支持非常有限,但是用作手机端 App 直播协议却异常合适。
  • HLS:苹果推出的解决方案,将视频分成5秒 - 10秒的视频小分片,然后用 m3u8 索引表进行管理,由于客户端下载到的视频都是5秒 - 10秒的完整数据,故视频的流畅性很好,但也同样引入了很大的延迟(HLS 的一般延迟在10秒 - 30秒左右)。相比于 FLV, HLS 在 iPhone 和大部分 Android 手机浏览器上的支持非常给力,所以常用于 QQ 和微信朋友圈的 URL 分享。

unknown_filename.2

原始流与推流码率分辨率一致。
高清流建议使用码率:2000kbps,分辨率:1080p。
标清流建议使用码率:1000kbps,分辨率:720p。

txTime 是否过期?
有些客户担心自己的直播流量被人盗用,会将 txTime 设置得过于保守,例如从当前时间开始往后推5分钟。其实由于有 txSercet 签名的存在,txTime 的有效期不用设置得太短。相反,如果有效期设置得太短,当主播在直播过程中遭遇网络闪断时会因为推流 URL 过期而无法恢复推流。
txTime 建议设置为当前时间往后推12或者24小时为宜,也就是要长于一场普通直播的直播时间

连麦互动

https://cloud.tencent.com/document/product/454/14606
Step3. 购买连麦套餐包由于连麦功能会使用到高速专线来降低音视频传输延迟,这部分功能需要额外购买套餐包才能开通,否则移动直播的各端 SDK 只能使用云直播的普通服务(推流和拉流),并不能开启连麦功能。

由于连麦功能会使用到高速专线来降低音视频传输延迟,这部分功能需要额外购买套餐包才能开通,否则移动直播的各端 SDK 只能使用云直播的普通服务(推流和拉流),并不能开启连麦功能。
unknown_filename
MLVBLiveRoom:基于腾讯云直播(LVB)、云点播(VOD) 和即时通信(IM)三大 PAAS 服务组合而成

常用类
TXLivePusher 接口提供摄像头推流能力
TXLivePlayer 模块负责实现直播播放功能

硬件加速
硬件加速在1080p解码场景下效果显著,但细节之处并不如想象的那么美好:
(1) 只有 4.3 以上android系统才支持
(2) 兼容性我们目前还仅过了小米华为等常见机型,故这里的返回值您先不要太当真

缓存策略
自动、极速、流畅。
极速模式:时延会尽可能低、但抗网络抖动效果不佳;
流畅模式:时延较高、抗抖动能力较强

权限检测相关

 private boolean checkPublishPermission() {
        if (Build.VERSION.SDK_INT >= 23) {
            List<String> permissions = new ArrayList<>();
            if (PackageManager.PERMISSION_GRANTED != ActivityCompat.checkSelfPermission(this, Manifest.permission.WRITE_EXTERNAL_STORAGE)) {
                permissions.add(Manifest.permission.WRITE_EXTERNAL_STORAGE);
            }
            if (PackageManager.PERMISSION_GRANTED != ActivityCompat.checkSelfPermission(this, Manifest.permission.CAMERA)) {
                permissions.add(Manifest.permission.CAMERA);
            }
            if (permissions.size() != 0) {
                ActivityCompat.requestPermissions(this,
                        permissions.toArray(new String[0]),
                        100);
                return false;
            }
        }
        return true;
    }

硬件加速变更不需要重启推流,直接应用配置项即可

利用 QRCode 生成 Bitmap的工具函数
createQRCodeBitmap(String content, int widthPix, int heightPix)


直播和视频
http://peiniwan.github.io/2026/11/25f1791767c7.html
作者
六月的雨
发布于
2026年11月8日
许可协议