区块链技术博客
www.b2bchain.cn
        找回密码
当前位置：b2bchain区块链学习技术社区 > 区块链毕设求职资料 > 正文

ffmpeg开发播放器学习笔记 – Hello FFmpeg求职学习资料

2021-01-24 分类：区块链毕设求职资料 阅读(25) 评论(0)

本文介绍了ffmpeg开发播放器学习笔记 – Hello FFmpeg求职学习资料，有助于帮助完成毕业设计以及求职，是一篇很好的资料。

对技术面试,学习经验等有一些体会，在此分享。

本节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》

<font size=”3″ color=”gray”>
ffmeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
</font>
ffmpeg开发播放器学习笔记 - Hello FFmpeg

<strong><font color=”#06d6a0″ size=”3″>第一节 – Hello FFmpeg 🔔</font></strong>
<font color=”black” size=”3″>第二节 – 软解视频流,渲染 RGB24 📗</font>
<font color=”black” size=”3″>第三节 – 认识YUV</font>
<font color=”black” size=”3″>第四节 – 硬解码,OpenGL渲染YUV</font>
<font color=”black” size=”3″>第五节 – Metal 渲染YUV</font>
<font color=”black” size=”3″>第六节 – 解码音频,使用AudioQueue 播放</font>
<font color=”black” size=”3″>第七节 – 音视频同步</font>
<font color=”black” size=”3″>第八节 – 完善播放控制</font>
<font color=”black” size=”3″>第九节 – 倍速播放</font>
<font color=”black” size=”3″>第十节 – 增加视频过滤效果</font>
<font color=”black” size=”3″>第十一节 – 音频变声</font>

该小节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
<font color=”gray” size=”3″>实例代码提供了Objective-C与Swift两种实现</font>

目标

  • 编译 ffmpeg,生成x86_64静态库
  • 搭建 macOS+ffmpeg 开发环境
  • 了解 ffmpeg 初始化流程
  • 使用 ffmpeg 并打印音视频信息

编译 ffmpeg

1.下载

ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,Download点击 Source Code下载最新的源码。

ffmpeg开发播放器学习笔记 - Hello FFmpeg

下载完成后解压,然后进入到ffmpeg源码根目录。

2.配置编译参数

终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数

./configure  --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac

--prefix 指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录，提前创建好这个目录。
--enable-gpl 允许使用GPL代码，生成的库和二进制文件将在GPL下
--enable-nofree 允许使用非自由代码，生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码

3.编译ffmpeg

使用以下命令编译并将产物输出到macos目录

make && make install

生成后的产物目录结构是这样的

ffmpeg开发播放器学习笔记 - Hello FFmpeg

bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等

4.编译libfdk-acc

由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录

./configure --prefix=./macos --disable-static
make && make install

搭建 macOS+ffmpeg 开发环境

1.新建工程

新建macOS工程,并创建以下目录结构
ffmpeg开发播放器学习笔记 - Hello FFmpeg
resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C工程
FFmpegPlayer-Swift: Swift工程

创建好工程之后,导入ffmpeg库与头文件
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.设置头文件搜索目录

ffmpeg开发播放器学习笔记 - Hello FFmpeg

到此,编码前的准备工作就做好了👏👏👏。

了解 ffmpeg 初始化流程

在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
ffmpeg开发播放器学习笔记 - Hello FFmpeg

1.打开文件/数据流

/// formatContet: AVFormatContext,保存了音视频文件信息 /// url: 需要打开的音视频文件地址 /// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导 /// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h /// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性 int ret = avformat_open_input(&formatContext, url, NULL, NULL);

2.找到音、视频流信息

/// formatContet: AVFormatContext,保存了音视频文件信息 /// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL ret = avformat_find_stream_info(formatContext, NULL);

这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。

3.遍历流信息

从已经读取到的流信息中遍历查找到音频与视频的流信息

for(int i = 0; i < formatContext->nb_streams; i ++) {     AVStream *stream = formatContext->streams[i];     AVMediaType mediaType = stream->codecpar->codec_type;     if(mediaType == AVMEDIA_TYPE_VIDEO) {         _mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaVideo) goto fail;     } else if(mediaType == AVMEDIA_TYPE_AUDIO) {         _mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaAudio) goto fail;     } }

4.初始化音视频解码器

从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息；如果是音频它包括了采样率、声道、音频数据包、音频格式、解码器等信息。

AVCodecParameters *codecParameters = stream->codecpar;

AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器

AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);

找到解码器之后,需要实例化一个解码器上下文

AVCodecContext *codecContext = avcodec_alloc_context3(codec);

AVCodec定义了功能,AVCodecContext结构表示程序运行的当前 AVCodec 使用的上下文，着重于所有 AVCodec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。AVCodecContext可以看作是AVCodec的一个具体实体表现，后续的解码操作都使用AVCodecContext。AVCodecContext不仅包含了AVCodec定义的功能,还需要通过特定的参数来完成功能的调用，这些参数存储在AVCodecParameters中。
初始化完成之后还需要将流信息参数填充到AVCodecContext。

avcodec_parameters_to_context(codecContext, codecParameters);

AVCodecContext默认是关闭的,在解码使用前需要先打开

avcodec_open2(codecContext, codec, NULL);

到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。

打印相关音视频信息

1.打印视频流信息

NSLog(@"=================== Video Information ==================="); NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate)); NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base))); NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:

typedef struct AVRational{     int num; ///< Numerator     int den; ///< Denominator } AVRational;

分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
ffmpeg开发播放器学习笔记 - Hello FFmpeg

它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。

最终打印出视频信息如下:
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.打印音频信息

NSLog(@"=================== Audio Information ==================="); NSLog(@"Sample Rate: %d", codecContext->sample_rate); NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt)); NSLog(@"Channels: %d", codecContext->channels); NSLog(@"Channel Layout: %llu", codecContext->channel_layout); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。

总结:

  • 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
  • 编译了ffmpeg并认识了编译产物
  • 搭建了macOS+ffmpeg的开发环境
  • 使用ffmpeg并打印了音视频流信息

本节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》

<font size=”3″ color=”gray”>
ffmeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
</font>
ffmpeg开发播放器学习笔记 - Hello FFmpeg

<strong><font color=”#06d6a0″ size=”3″>第一节 – Hello FFmpeg 🔔</font></strong>
<font color=”black” size=”3″>第二节 – 软解视频流,渲染 RGB24 📗</font>
<font color=”black” size=”3″>第三节 – 认识YUV</font>
<font color=”black” size=”3″>第四节 – 硬解码,OpenGL渲染YUV</font>
<font color=”black” size=”3″>第五节 – Metal 渲染YUV</font>
<font color=”black” size=”3″>第六节 – 解码音频,使用AudioQueue 播放</font>
<font color=”black” size=”3″>第七节 – 音视频同步</font>
<font color=”black” size=”3″>第八节 – 完善播放控制</font>
<font color=”black” size=”3″>第九节 – 倍速播放</font>
<font color=”black” size=”3″>第十节 – 增加视频过滤效果</font>
<font color=”black” size=”3″>第十一节 – 音频变声</font>

该小节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
<font color=”gray” size=”3″>实例代码提供了Objective-C与Swift两种实现</font>

目标

  • 编译 ffmpeg,生成x86_64静态库
  • 搭建 macOS+ffmpeg 开发环境
  • 了解 ffmpeg 初始化流程
  • 使用 ffmpeg 并打印音视频信息

编译 ffmpeg

1.下载

ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,Download点击 Source Code下载最新的源码。

ffmpeg开发播放器学习笔记 - Hello FFmpeg

下载完成后解压,然后进入到ffmpeg源码根目录。

2.配置编译参数

终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数

./configure  --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac

--prefix 指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录，提前创建好这个目录。
--enable-gpl 允许使用GPL代码，生成的库和二进制文件将在GPL下
--enable-nofree 允许使用非自由代码，生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码

3.编译ffmpeg

使用以下命令编译并将产物输出到macos目录

make && make install

生成后的产物目录结构是这样的

ffmpeg开发播放器学习笔记 - Hello FFmpeg

bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等

4.编译libfdk-acc

由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录

./configure --prefix=./macos --disable-static
make && make install

搭建 macOS+ffmpeg 开发环境

1.新建工程

新建macOS工程,并创建以下目录结构
ffmpeg开发播放器学习笔记 - Hello FFmpeg
resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C工程
FFmpegPlayer-Swift: Swift工程

创建好工程之后,导入ffmpeg库与头文件
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.设置头文件搜索目录

ffmpeg开发播放器学习笔记 - Hello FFmpeg

到此,编码前的准备工作就做好了👏👏👏。

了解 ffmpeg 初始化流程

在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
ffmpeg开发播放器学习笔记 - Hello FFmpeg

1.打开文件/数据流

/// formatContet: AVFormatContext,保存了音视频文件信息 /// url: 需要打开的音视频文件地址 /// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导 /// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h /// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性 int ret = avformat_open_input(&formatContext, url, NULL, NULL);

2.找到音、视频流信息

/// formatContet: AVFormatContext,保存了音视频文件信息 /// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL ret = avformat_find_stream_info(formatContext, NULL);

这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。

3.遍历流信息

从已经读取到的流信息中遍历查找到音频与视频的流信息

for(int i = 0; i < formatContext->nb_streams; i ++) {     AVStream *stream = formatContext->streams[i];     AVMediaType mediaType = stream->codecpar->codec_type;     if(mediaType == AVMEDIA_TYPE_VIDEO) {         _mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaVideo) goto fail;     } else if(mediaType == AVMEDIA_TYPE_AUDIO) {         _mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaAudio) goto fail;     } }

4.初始化音视频解码器

从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息；如果是音频它包括了采样率、声道、音频数据包、音频格式、解码器等信息。

AVCodecParameters *codecParameters = stream->codecpar;

AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器

AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);

找到解码器之后,需要实例化一个解码器上下文

AVCodecContext *codecContext = avcodec_alloc_context3(codec);

AVCodec定义了功能,AVCodecContext结构表示程序运行的当前 AVCodec 使用的上下文，着重于所有 AVCodec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。AVCodecContext可以看作是AVCodec的一个具体实体表现，后续的解码操作都使用AVCodecContext。AVCodecContext不仅包含了AVCodec定义的功能,还需要通过特定的参数来完成功能的调用，这些参数存储在AVCodecParameters中。
初始化完成之后还需要将流信息参数填充到AVCodecContext。

avcodec_parameters_to_context(codecContext, codecParameters);

AVCodecContext默认是关闭的,在解码使用前需要先打开

avcodec_open2(codecContext, codec, NULL);

到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。

打印相关音视频信息

1.打印视频流信息

NSLog(@"=================== Video Information ==================="); NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate)); NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base))); NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:

typedef struct AVRational{     int num; ///< Numerator     int den; ///< Denominator } AVRational;

分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
ffmpeg开发播放器学习笔记 - Hello FFmpeg

它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。

最终打印出视频信息如下:
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.打印音频信息

NSLog(@"=================== Audio Information ==================="); NSLog(@"Sample Rate: %d", codecContext->sample_rate); NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt)); NSLog(@"Channels: %d", codecContext->channels); NSLog(@"Channel Layout: %llu", codecContext->channel_layout); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。

总结:

  • 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
  • 编译了ffmpeg并认识了编译产物
  • 搭建了macOS+ffmpeg的开发环境
  • 使用ffmpeg并打印了音视频流信息

本节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》

<font size=”3″ color=”gray”>
ffmeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
</font>
ffmpeg开发播放器学习笔记 - Hello FFmpeg

<strong><font color=”#06d6a0″ size=”3″>第一节 – Hello FFmpeg 🔔</font></strong>
<font color=”black” size=”3″>第二节 – 软解视频流,渲染 RGB24 📗</font>
<font color=”black” size=”3″>第三节 – 认识YUV</font>
<font color=”black” size=”3″>第四节 – 硬解码,OpenGL渲染YUV</font>
<font color=”black” size=”3″>第五节 – Metal 渲染YUV</font>
<font color=”black” size=”3″>第六节 – 解码音频,使用AudioQueue 播放</font>
<font color=”black” size=”3″>第七节 – 音视频同步</font>
<font color=”black” size=”3″>第八节 – 完善播放控制</font>
<font color=”black” size=”3″>第九节 – 倍速播放</font>
<font color=”black” size=”3″>第十节 – 增加视频过滤效果</font>
<font color=”black” size=”3″>第十一节 – 音频变声</font>

该小节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
<font color=”gray” size=”3″>实例代码提供了Objective-C与Swift两种实现</font>

目标

  • 编译 ffmpeg,生成x86_64静态库
  • 搭建 macOS+ffmpeg 开发环境
  • 了解 ffmpeg 初始化流程
  • 使用 ffmpeg 并打印音视频信息

编译 ffmpeg

1.下载

ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,Download点击 Source Code下载最新的源码。

ffmpeg开发播放器学习笔记 - Hello FFmpeg

下载完成后解压,然后进入到ffmpeg源码根目录。

2.配置编译参数

终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数

./configure  --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac

--prefix 指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录，提前创建好这个目录。
--enable-gpl 允许使用GPL代码，生成的库和二进制文件将在GPL下
--enable-nofree 允许使用非自由代码，生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码

3.编译ffmpeg

使用以下命令编译并将产物输出到macos目录

make && make install

生成后的产物目录结构是这样的

ffmpeg开发播放器学习笔记 - Hello FFmpeg

bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等

4.编译libfdk-acc

由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录

./configure --prefix=./macos --disable-static
make && make install

搭建 macOS+ffmpeg 开发环境

1.新建工程

新建macOS工程,并创建以下目录结构
ffmpeg开发播放器学习笔记 - Hello FFmpeg
resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C工程
FFmpegPlayer-Swift: Swift工程

创建好工程之后,导入ffmpeg库与头文件
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.设置头文件搜索目录

ffmpeg开发播放器学习笔记 - Hello FFmpeg

到此,编码前的准备工作就做好了👏👏👏。

了解 ffmpeg 初始化流程

在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
ffmpeg开发播放器学习笔记 - Hello FFmpeg

1.打开文件/数据流

/// formatContet: AVFormatContext,保存了音视频文件信息 /// url: 需要打开的音视频文件地址 /// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导 /// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h /// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性 int ret = avformat_open_input(&formatContext, url, NULL, NULL);

2.找到音、视频流信息

/// formatContet: AVFormatContext,保存了音视频文件信息 /// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL ret = avformat_find_stream_info(formatContext, NULL);

这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。

3.遍历流信息

从已经读取到的流信息中遍历查找到音频与视频的流信息

for(int i = 0; i < formatContext->nb_streams; i ++) {     AVStream *stream = formatContext->streams[i];     AVMediaType mediaType = stream->codecpar->codec_type;     if(mediaType == AVMEDIA_TYPE_VIDEO) {         _mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaVideo) goto fail;     } else if(mediaType == AVMEDIA_TYPE_AUDIO) {         _mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];         if(!_mediaAudio) goto fail;     } }

4.初始化音视频解码器

从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息；如果是音频它包括了采样率、声道、音频数据包、音频格式、解码器等信息。

AVCodecParameters *codecParameters = stream->codecpar;

AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器

AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);

找到解码器之后,需要实例化一个解码器上下文

AVCodecContext *codecContext = avcodec_alloc_context3(codec);

AVCodec定义了功能,AVCodecContext结构表示程序运行的当前 AVCodec 使用的上下文，着重于所有 AVCodec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。AVCodecContext可以看作是AVCodec的一个具体实体表现，后续的解码操作都使用AVCodecContext。AVCodecContext不仅包含了AVCodec定义的功能,还需要通过特定的参数来完成功能的调用，这些参数存储在AVCodecParameters中。
初始化完成之后还需要将流信息参数填充到AVCodecContext。

avcodec_parameters_to_context(codecContext, codecParameters);

AVCodecContext默认是关闭的,在解码使用前需要先打开

avcodec_open2(codecContext, codec, NULL);

到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。

打印相关音视频信息

1.打印视频流信息

NSLog(@"=================== Video Information ==================="); NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate)); NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base))); NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:

typedef struct AVRational{     int num; ///< Numerator     int den; ///< Denominator } AVRational;

分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
ffmpeg开发播放器学习笔记 - Hello FFmpeg

它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。

最终打印出视频信息如下:
ffmpeg开发播放器学习笔记 - Hello FFmpeg

2.打印音频信息

NSLog(@"=================== Audio Information ==================="); NSLog(@"Sample Rate: %d", codecContext->sample_rate); NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt)); NSLog(@"Channels: %d", codecContext->channels); NSLog(@"Channel Layout: %llu", codecContext->channel_layout); NSLog(@"Decodec: %s", self->codec->long_name); NSLog(@"=========================================================");

音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。

总结:

  • 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
  • 编译了ffmpeg并认识了编译产物
  • 搭建了macOS+ffmpeg的开发环境
  • 使用ffmpeg并打印了音视频流信息

部分转自互联网，侵权删除联系

赞(0) 打赏
部分文章转自网络，侵权联系删除b2bchain区块链学习技术社区 » ffmpeg开发播放器学习笔记 – Hello FFmpeg求职学习资料
分享到： 更多 (0)

相关推荐

评论 抢沙发

取消

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

热门标签

POS (999)智能合约 (590)python (343)POW (293)私钥 (221)分片 (194)侧链 (96)硬分叉 (93)Solidity (81)闪电网络 (75)IPFS (74)UTXO (70)plasma (69)多重签名 (60)casper (48)椭圆曲线 (43)BIP (38)Erlay (37)软分叉 (36)DPOS (32)Taproot (31)冷钱包 (30)默克尔树 (30)SPV (25)Paxos (25)AZTEC (24)隔离见证 (22)Fabric (21)Mimblewimble (18)PBFT (15)

更新日志

2021年三月
一 二 三 四 五 六 日
 1
2345678
9101112131415
16171819202122
232425262728  

最新评论

    b2b链

    联系我们联系我们