区块链技术博客
www.b2bchain.cn

ffmpeg开发播放器学习笔记 – Hello FFmpeg求职学习资料

本文介绍了ffmpeg开发播放器学习笔记 – Hello FFmpeg求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

本节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》

<font size=”3″ color=”gray”>
ffmeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
</font>
ffmpeg开发播放器学习笔记 - Hello FFmpeg

<strong><font color=”#06d6a0″ size=”3″>第一节 – Hello FFmpeg 🔔</font></strong>
<font color=”black” size=”3″>第二节 – 软解视频流,渲染 RGB24 📗</font>
<font color=”black” size=”3″>第三节 – 认识YUV</font>
<font color=”black” size=”3″>第四节 – 硬解码,OpenGL渲染YUV</font>
<font color=”black” size=”3″>第五节 – Metal 渲染YUV</font>
<font color=”black” size=”3″>第六节 – 解码音频,使用AudioQueue 播放</font>
<font color=”black” size=”3″>第七节 – 音视频同步</font>
<font color=”black” size=”3″>第八节 – 完善播放控制</font>
<font color=”black” size=”3″>第九节 – 倍速播放</font>
<font color=”black” size=”3″>第十节 – 增加视频过滤效果</font>
<font color=”black” size=”3″>第十一节 – 音频变声</font>

该小节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
<font color=”gray” size=”3″>实例代码提供了Objective-CSwift两种实现</font>

目标

  • 编译 ffmpeg,生成x86_64静态库
  • 搭建 macOS+ffmpeg 开发环境
  • 了解 ffmpeg 初始化流程
  • 使用 ffmpeg 并打印音视频信息

编译 ffmpeg

1.下载

ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,Download点击 Source Code下载最新的源码。

ffmpeg开发播放器学习笔记 - Hello FFmpeg

下载完成后解压,然后进入到ffmpeg源码根目录。

2.配置编译参数

终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数

./configure  --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac

--prefix 指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录,提前创建好这个目录。
--enable-gpl 允许使用GPL代码,生成的库和二进制文件将在GPL下
--enable-nofree 允许使用非自由代码,生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码

3.编译ffmpeg

使用以下命令编译并将产物输出到macos目录

make && make install

生成后的产物目录结构是这样的

ffmpeg开发播放器学习笔记 - Hello FFmpeg

bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等

4.编译libfdk-acc

由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录

./configure --prefix=./macos --disable-static
make && make install

搭建 macOS+ffmpeg 开发环境

1.新建工程

新建macOS工程,并创建以下目录结构
ffmpeg开发播放器学习笔记 - Hello FFmpeg
resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C工程
FFmpegPlayer-Swift: Swift工程

创建好工程之后,导入ffmpeg库与头文件
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.设置头文件搜索目录

ffmpeg开发播放器学习笔记 - Hello FFmpeg

到此,编码前的准备工作就做好了👏👏👏。

了解 ffmpeg 初始化流程

在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
ffmpeg开发播放器学习笔记 - Hello FFmpeg

1.打开文件/数据流

/// formatContet: AVFormatContext,保存了音视频文件信息 /// url: 需要打开的音视频文件地址 /// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导 /// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h /// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性 int ret = avformat_open_input(&formatContext, url, NULL, NULL);

2.找到音、视频流信息

/// formatContet: AVFormatContext,保存了音视频文件信息 /// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL ret = avformat_find_stream_info(formatContext, NULL);

这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。

3.遍历流信息

从已经读取到的流信息中遍历查找到音频与视频的流信息

for(int i = 0; i < formatContext->nb_streams; i ++) {     AVStream *stream = formatContext->streams[i];     AVMediaType mediaType = stream->codecpar->codec_type;     if(mediaType == AVMEDIA_TYPE_VIDEO) {         _mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaVideo) goto fail;     } else if(mediaType == AVMEDIA_TYPE_AUDIO) {         _mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaAudio) goto fail;     } }

4.初始化音视频解码器

从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息;如果是音频它包括了采样率、声道、音频数据包、音频格式、解码器等信息。

AVCodecParameters *codecParameters = stream->codecpar;

AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器

AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);

找到解码器之后,需要实例化一个解码器上下文

AVCodecContext *codecContext = avcodec_alloc_context3(codec);

AVCodec定义了功能,AVCodecContext结构表示程序运行的当前 AVCodec 使用的上下文,着重于所有 AVCodec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。AVCodecContext可以看作是AVCodec的一个具体实体表现,后续的解码操作都使用AVCodecContext。AVCodecContext不仅包含了AVCodec定义的功能,还需要通过特定的参数来完成功能的调用,这些参数存储在AVCodecParameters中。
初始化完成之后还需要将流信息参数填充到AVCodecContext。

avcodec_parameters_to_context(codecContext, codecParameters);

AVCodecContext默认是关闭的,在解码使用前需要先打开

avcodec_open2(codecContext, codec, NULL);

到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。

打印相关音视频信息

1.打印视频流信息

NSLog(@"=================== Video Information ==================="); NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate)); NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base))); NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:

typedef struct AVRational{     int num; ///< Numerator     int den; ///< Denominator } AVRational;

分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
ffmpeg开发播放器学习笔记 - Hello FFmpeg

它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。

最终打印出视频信息如下:
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.打印音频信息

NSLog(@"=================== Audio Information ==================="); NSLog(@"Sample Rate: %d", codecContext->sample_rate); NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt)); NSLog(@"Channels: %d", codecContext->channels); NSLog(@"Channel Layout: %llu", codecContext->channel_layout); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。

总结:

  • 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
  • 编译了ffmpeg并认识了编译产物
  • 搭建了macOS+ffmpeg的开发环境
  • 使用ffmpeg并打印了音视频流信息

本节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》

<font size=”3″ color=”gray”>
ffmeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
</font>
ffmpeg开发播放器学习笔记 - Hello FFmpeg

<strong><font color=”#06d6a0″ size=”3″>第一节 – Hello FFmpeg 🔔</font></strong>
<font color=”black” size=”3″>第二节 – 软解视频流,渲染 RGB24 📗</font>
<font color=”black” size=”3″>第三节 – 认识YUV</font>
<font color=”black” size=”3″>第四节 – 硬解码,OpenGL渲染YUV</font>
<font color=”black” size=”3″>第五节 – Metal 渲染YUV</font>
<font color=”black” size=”3″>第六节 – 解码音频,使用AudioQueue 播放</font>
<font color=”black” size=”3″>第七节 – 音视频同步</font>
<font color=”black” size=”3″>第八节 – 完善播放控制</font>
<font color=”black” size=”3″>第九节 – 倍速播放</font>
<font color=”black” size=”3″>第十节 – 增加视频过滤效果</font>
<font color=”black” size=”3″>第十一节 – 音频变声</font>

该小节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
<font color=”gray” size=”3″>实例代码提供了Objective-CSwift两种实现</font>

目标

  • 编译 ffmpeg,生成x86_64静态库
  • 搭建 macOS+ffmpeg 开发环境
  • 了解 ffmpeg 初始化流程
  • 使用 ffmpeg 并打印音视频信息

编译 ffmpeg

1.下载

ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,Download点击 Source Code下载最新的源码。

ffmpeg开发播放器学习笔记 - Hello FFmpeg

下载完成后解压,然后进入到ffmpeg源码根目录。

2.配置编译参数

终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数

./configure  --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac

--prefix 指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录,提前创建好这个目录。
--enable-gpl 允许使用GPL代码,生成的库和二进制文件将在GPL下
--enable-nofree 允许使用非自由代码,生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码

3.编译ffmpeg

使用以下命令编译并将产物输出到macos目录

make && make install

生成后的产物目录结构是这样的

ffmpeg开发播放器学习笔记 - Hello FFmpeg

bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等

4.编译libfdk-acc

由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录

./configure --prefix=./macos --disable-static
make && make install

搭建 macOS+ffmpeg 开发环境

1.新建工程

新建macOS工程,并创建以下目录结构
ffmpeg开发播放器学习笔记 - Hello FFmpeg
resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C工程
FFmpegPlayer-Swift: Swift工程

创建好工程之后,导入ffmpeg库与头文件
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.设置头文件搜索目录

ffmpeg开发播放器学习笔记 - Hello FFmpeg

到此,编码前的准备工作就做好了👏👏👏。

了解 ffmpeg 初始化流程

在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
ffmpeg开发播放器学习笔记 - Hello FFmpeg

1.打开文件/数据流

/// formatContet: AVFormatContext,保存了音视频文件信息 /// url: 需要打开的音视频文件地址 /// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导 /// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h /// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性 int ret = avformat_open_input(&formatContext, url, NULL, NULL);

2.找到音、视频流信息

/// formatContet: AVFormatContext,保存了音视频文件信息 /// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL ret = avformat_find_stream_info(formatContext, NULL);

这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。

3.遍历流信息

从已经读取到的流信息中遍历查找到音频与视频的流信息

for(int i = 0; i < formatContext->nb_streams; i ++) {     AVStream *stream = formatContext->streams[i];     AVMediaType mediaType = stream->codecpar->codec_type;     if(mediaType == AVMEDIA_TYPE_VIDEO) {         _mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaVideo) goto fail;     } else if(mediaType == AVMEDIA_TYPE_AUDIO) {         _mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaAudio) goto fail;     } }

4.初始化音视频解码器

从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息;如果是音频它包括了采样率、声道、音频数据包、音频格式、解码器等信息。

AVCodecParameters *codecParameters = stream->codecpar;

AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器

AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);

找到解码器之后,需要实例化一个解码器上下文

AVCodecContext *codecContext = avcodec_alloc_context3(codec);

AVCodec定义了功能,AVCodecContext结构表示程序运行的当前 AVCodec 使用的上下文,着重于所有 AVCodec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。AVCodecContext可以看作是AVCodec的一个具体实体表现,后续的解码操作都使用AVCodecContext。AVCodecContext不仅包含了AVCodec定义的功能,还需要通过特定的参数来完成功能的调用,这些参数存储在AVCodecParameters中。
初始化完成之后还需要将流信息参数填充到AVCodecContext。

avcodec_parameters_to_context(codecContext, codecParameters);

AVCodecContext默认是关闭的,在解码使用前需要先打开

avcodec_open2(codecContext, codec, NULL);

到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。

打印相关音视频信息

1.打印视频流信息

NSLog(@"=================== Video Information ==================="); NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate)); NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base))); NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:

typedef struct AVRational{     int num; ///< Numerator     int den; ///< Denominator } AVRational;

分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
ffmpeg开发播放器学习笔记 - Hello FFmpeg

它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。

最终打印出视频信息如下:
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.打印音频信息

NSLog(@"=================== Audio Information ==================="); NSLog(@"Sample Rate: %d", codecContext->sample_rate); NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt)); NSLog(@"Channels: %d", codecContext->channels); NSLog(@"Channel Layout: %llu", codecContext->channel_layout); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。

总结:

  • 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
  • 编译了ffmpeg并认识了编译产物
  • 搭建了macOS+ffmpeg的开发环境
  • 使用ffmpeg并打印了音视频流信息

本节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》

<font size=”3″ color=”gray”>
ffmeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
</font>
ffmpeg开发播放器学习笔记 - Hello FFmpeg

<strong><font color=”#06d6a0″ size=”3″>第一节 – Hello FFmpeg 🔔</font></strong>
<font color=”black” size=”3″>第二节 – 软解视频流,渲染 RGB24 📗</font>
<font color=”black” size=”3″>第三节 – 认识YUV</font>
<font color=”black” size=”3″>第四节 – 硬解码,OpenGL渲染YUV</font>
<font color=”black” size=”3″>第五节 – Metal 渲染YUV</font>
<font color=”black” size=”3″>第六节 – 解码音频,使用AudioQueue 播放</font>
<font color=”black” size=”3″>第七节 – 音视频同步</font>
<font color=”black” size=”3″>第八节 – 完善播放控制</font>
<font color=”black” size=”3″>第九节 – 倍速播放</font>
<font color=”black” size=”3″>第十节 – 增加视频过滤效果</font>
<font color=”black” size=”3″>第十一节 – 音频变声</font>

该小节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
<font color=”gray” size=”3″>实例代码提供了Objective-CSwift两种实现</font>

目标

  • 编译 ffmpeg,生成x86_64静态库
  • 搭建 macOS+ffmpeg 开发环境
  • 了解 ffmpeg 初始化流程
  • 使用 ffmpeg 并打印音视频信息

编译 ffmpeg

1.下载

ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,Download点击 Source Code下载最新的源码。

ffmpeg开发播放器学习笔记 - Hello FFmpeg

下载完成后解压,然后进入到ffmpeg源码根目录。

2.配置编译参数

终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数

./configure  --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac

--prefix 指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录,提前创建好这个目录。
--enable-gpl 允许使用GPL代码,生成的库和二进制文件将在GPL下
--enable-nofree 允许使用非自由代码,生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码

3.编译ffmpeg

使用以下命令编译并将产物输出到macos目录

make && make install

生成后的产物目录结构是这样的

ffmpeg开发播放器学习笔记 - Hello FFmpeg

bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等

4.编译libfdk-acc

由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录

./configure --prefix=./macos --disable-static
make && make install

搭建 macOS+ffmpeg 开发环境

1.新建工程

新建macOS工程,并创建以下目录结构
ffmpeg开发播放器学习笔记 - Hello FFmpeg
resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C工程
FFmpegPlayer-Swift: Swift工程

创建好工程之后,导入ffmpeg库与头文件
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.设置头文件搜索目录

ffmpeg开发播放器学习笔记 - Hello FFmpeg

到此,编码前的准备工作就做好了👏👏👏。

了解 ffmpeg 初始化流程

在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
ffmpeg开发播放器学习笔记 - Hello FFmpeg

1.打开文件/数据流

/// formatContet: AVFormatContext,保存了音视频文件信息 /// url: 需要打开的音视频文件地址 /// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导 /// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h /// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性 int ret = avformat_open_input(&formatContext, url, NULL, NULL);

2.找到音、视频流信息

/// formatContet: AVFormatContext,保存了音视频文件信息 /// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL ret = avformat_find_stream_info(formatContext, NULL);

这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。

3.遍历流信息

从已经读取到的流信息中遍历查找到音频与视频的流信息

for(int i = 0; i < formatContext->nb_streams; i ++) {     AVStream *stream = formatContext->streams[i];     AVMediaType mediaType = stream->codecpar->codec_type;     if(mediaType == AVMEDIA_TYPE_VIDEO) {         _mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaVideo) goto fail;     } else if(mediaType == AVMEDIA_TYPE_AUDIO) {         _mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaAudio) goto fail;     } }

4.初始化音视频解码器

从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息;如果是音频它包括了采样率、声道、音频数据包、音频格式、解码器等信息。

AVCodecParameters *codecParameters = stream->codecpar;

AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器

AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);

找到解码器之后,需要实例化一个解码器上下文

AVCodecContext *codecContext = avcodec_alloc_context3(codec);

AVCodec定义了功能,AVCodecContext结构表示程序运行的当前 AVCodec 使用的上下文,着重于所有 AVCodec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。AVCodecContext可以看作是AVCodec的一个具体实体表现,后续的解码操作都使用AVCodecContext。AVCodecContext不仅包含了AVCodec定义的功能,还需要通过特定的参数来完成功能的调用,这些参数存储在AVCodecParameters中。
初始化完成之后还需要将流信息参数填充到AVCodecContext。

avcodec_parameters_to_context(codecContext, codecParameters);

AVCodecContext默认是关闭的,在解码使用前需要先打开

avcodec_open2(codecContext, codec, NULL);

到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。

打印相关音视频信息

1.打印视频流信息

NSLog(@"=================== Video Information ==================="); NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate)); NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base))); NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:

typedef struct AVRational{     int num; ///< Numerator     int den; ///< Denominator } AVRational;

分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
ffmpeg开发播放器学习笔记 - Hello FFmpeg

它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。

最终打印出视频信息如下:
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.打印音频信息

NSLog(@"=================== Audio Information ==================="); NSLog(@"Sample Rate: %d", codecContext->sample_rate); NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt)); NSLog(@"Channels: %d", codecContext->channels); NSLog(@"Channel Layout: %llu", codecContext->channel_layout); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。

总结:

  • 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
  • 编译了ffmpeg并认识了编译产物
  • 搭建了macOS+ffmpeg的开发环境
  • 使用ffmpeg并打印了音视频流信息

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » ffmpeg开发播放器学习笔记 – Hello FFmpeg求职学习资料
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们