区块链技术博客
www.b2bchain.cn

ffmpeg开发播放器学习笔记 – 完善播放控制求职学习资料

本文介绍了ffmpeg开发播放器学习笔记 – 完善播放控制求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

视频在播放过程中如果没有基本的播放控制功能,只能从头一直正常的播放到结束是一件非常糟糕的事。该节就来解决这个看起来很简单但又非常重要的问题。<br/>
ffmpeg开发播放器学习笔记 - 完善播放控制

✅ 第一节 – Hello FFmpeg
✅ 第二节 – 软解视频流,渲染 RGB24
✅ 第三节 – 认识YUV
✅ 第四节 – 硬解码,OpenGL渲染YUV
✅ 第五节 – Metal 渲染YUV
✅ 第六节 – 解码音频,使用AudioQueue 播放
✅ 第七节 – 音视频同步
🔔 第八节 – 完善播放控制
📗 第九节 – 倍速播放
📗 第十节 – 增加视频过滤效果
📗 第十一节 – 音频变声

该节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Player-Control<br/>
实例代码提供了Objective-CSwift两种实现,为了方便说明,文章引用的是Objective-C代码,因为Swift代码指针看着不简洁。<br/>
该节最终效果如下图:
ffmpeg开发播放器学习笔记 - 完善播放控制
image.png

目标

  • 实现播放与暂停
  • 实现前进与后退
  • 实现拖动滑块改变播放时间点

实现播放与暂停

音频的播放与图像的渲染是分开的,需要分别对音频播放与图像渲染分开控制即可
音频使用了AudioQueu,所以它的的暂停与播放控制代码如下:

- (void)pause {     AudioQueuePause(audioQueue);     NSLog(@"[音频]暂停"); } - (void)resume {     AudioQueueStart(audioQueue, NULL);     NSLog(@"[音频]恢复"); }

视频则是通过定时器进行控制的,所以它的暂停与播放控制代码如下:

- (void)startVideoRender {     if(self->video_render_timer) {         dispatch_source_cancel(self->video_render_timer);     }     self->video_render_timer = dispatch_source_create(DISPATCH_SOURCE_TYPE_TIMER, 0, 0, video_render_dispatch_queue);     float duration = 1.0 / self.fps * NSEC_PER_SEC;     dispatch_source_set_timer(self->video_render_timer, DISPATCH_TIME_NOW, duration, duration);     dispatch_source_set_event_handler(self->video_render_timer, ^{         [self playNextVideoFrame];     });     dispatch_resume(self->video_render_timer); }  - (void)stopVideoRender {     if(self->video_render_timer) dispatch_cancel(self->video_render_timer);     self->video_render_timer = NULL; } #pragma mark - Public - (void)start {     [self startVideoRender]; } - (void)stop {     [self stopVideoRender]; } - (void)pause {     [self stop]; } - (void)resume {     [self start]; }

暂停与播放实现比较简单<br/>

实现前进与后退

在实现前进与后退之前,需要实现播放的seek功能,即设置视频的播放时间点。好在ffmpeg已经内置了这个功能,但是还是有一些细节需要特别注意与处理<br/>

实现seek到具体某个时间点的功能

ffmpeg提供了seek的功能,它的定义如下:

int av_seek_frame(AVFormatContext *s,                    int stream_index,                    int64_t timestamp,                   int flags)

stream_index: 需要操作的目标流AVStream,如果设置成-1则由ffmpeg自动操作选择一个默认的对象<br/>
timestamp: 设置需要seek到的时间点,它的单位是AVStream.time_base<br/>
flags:定义的枚举如下

#define AVSEEK_FLAG_BACKWARD 1 ///< 在设置的时间点向前找关键帧作为最终设置的目标时间点 #define AVSEEK_FLAG_BYTE     2 ///< 基于字节进行设置 #define AVSEEK_FLAG_ANY      4 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧 #define AVSEEK_FLAG_FRAME    8 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧

如果的设置实例代码如下:

av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);

完整的seek流程是这样的:

  • 1.暂停播放器
  • 2.清空音频与图像播放列队中的缓冲数据
  • 3.清空音频播放器AudioQueue中的缓冲数据
  • 4.清空ffmpeg中解码缓冲数据
  • 5.调用av_seek_frame
  • 6.唤醒解码线程继续解码
  • 7.恢复播放器继续播放 完整实例代码如下:
- (void)seekTo:(float)time {     [self pause];     [self.audioFrameCacheQueue clean];     [self.videoFrameCacheQueue clean];     pthread_mutex_lock(&(self->mutex));     avcodec_flush_buffers([_mediaVideoContext codecContext]);     avcodec_flush_buffers([_mediaAudioContext codecContext]);     [self.audioPlayer cleanQueueCacheData];     av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);     _NotifyWaitThreadWakeUp(self.decodeCondition);     pthread_mutex_unlock(&(self->mutex));     [self resume]; }

实现前进与后退

在seek的功能上实现前进与后退就变得非常简单了:

/// 后退 [self seekTo:self.currentTime - 3]; /// 前进 [self seekTo:self.currentTime + 3];

实现拖动滑块改变播放时间点

拖动的实现也是基于seek功能,这里需要注意一点的是在点击滑动的时候需要将播放暂停,在AppKit中使用NSSlider实现这一功能时需要单独实现

 _NSSlider : NSSlider (nonatomic, strong)void(^mouseDownBlock)(void); _NSSlider  - (void)mouseDown:(NSEvent *)event {     NSLog(@"滑动: 鼠标按下");     self.mouseDownBlock();     [super mouseDown:event]; } 

_NSSlider的变量continuous值设置成false,关闭拖动过程中连续的事件回调,只保留最后鼠标弹起来时的最后一次回调即可。在playerReadyToPlay回调函数中设置好_NSSlider的maxValue与minValue。
通过设置_NSSlider的action与target可以得到回调时具体需要seek的时间点。

 [self seekTo:sender.floatValue];

到此基本的视频控制功能就已经实现好了,具体的实现代码请查看git repo对应的tag。如果基于iOS UI上的实现更简单。AppKit的交互实现不是太友好。

总结:

  • 实现播放与暂停,通过对音频播放与图像渲染分别进行暂停与播放的控制。
  • 实现前进与后退,在seek实现的基础上轻松实现前进与快退。
  • 实现拖动滑块改变播放时间点,在seek的实现基础上轻松实现拖动功能,但需要特别注意NSSlider的实现。 <br/> <br/>更多内容请关注微信公众号<<程序猿搬砖>>

视频在播放过程中如果没有基本的播放控制功能,只能从头一直正常的播放到结束是一件非常糟糕的事。该节就来解决这个看起来很简单但又非常重要的问题。<br/>
ffmpeg开发播放器学习笔记 - 完善播放控制

✅ 第一节 – Hello FFmpeg
✅ 第二节 – 软解视频流,渲染 RGB24
✅ 第三节 – 认识YUV
✅ 第四节 – 硬解码,OpenGL渲染YUV
✅ 第五节 – Metal 渲染YUV
✅ 第六节 – 解码音频,使用AudioQueue 播放
✅ 第七节 – 音视频同步
🔔 第八节 – 完善播放控制
📗 第九节 – 倍速播放
📗 第十节 – 增加视频过滤效果
📗 第十一节 – 音频变声

该节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Player-Control<br/>
实例代码提供了Objective-CSwift两种实现,为了方便说明,文章引用的是Objective-C代码,因为Swift代码指针看着不简洁。<br/>
该节最终效果如下图:
ffmpeg开发播放器学习笔记 - 完善播放控制
image.png

目标

  • 实现播放与暂停
  • 实现前进与后退
  • 实现拖动滑块改变播放时间点

实现播放与暂停

音频的播放与图像的渲染是分开的,需要分别对音频播放与图像渲染分开控制即可
音频使用了AudioQueu,所以它的的暂停与播放控制代码如下:

- (void)pause {     AudioQueuePause(audioQueue);     NSLog(@"[音频]暂停"); } - (void)resume {     AudioQueueStart(audioQueue, NULL);     NSLog(@"[音频]恢复"); }

视频则是通过定时器进行控制的,所以它的暂停与播放控制代码如下:

- (void)startVideoRender {     if(self->video_render_timer) {         dispatch_source_cancel(self->video_render_timer);     }     self->video_render_timer = dispatch_source_create(DISPATCH_SOURCE_TYPE_TIMER, 0, 0, video_render_dispatch_queue);     float duration = 1.0 / self.fps * NSEC_PER_SEC;     dispatch_source_set_timer(self->video_render_timer, DISPATCH_TIME_NOW, duration, duration);     dispatch_source_set_event_handler(self->video_render_timer, ^{         [self playNextVideoFrame];     });     dispatch_resume(self->video_render_timer); }  - (void)stopVideoRender {     if(self->video_render_timer) dispatch_cancel(self->video_render_timer);     self->video_render_timer = NULL; } #pragma mark - Public - (void)start {     [self startVideoRender]; } - (void)stop {     [self stopVideoRender]; } - (void)pause {     [self stop]; } - (void)resume {     [self start]; }

暂停与播放实现比较简单<br/>

实现前进与后退

在实现前进与后退之前,需要实现播放的seek功能,即设置视频的播放时间点。好在ffmpeg已经内置了这个功能,但是还是有一些细节需要特别注意与处理<br/>

实现seek到具体某个时间点的功能

ffmpeg提供了seek的功能,它的定义如下:

int av_seek_frame(AVFormatContext *s,                    int stream_index,                    int64_t timestamp,                   int flags)

stream_index: 需要操作的目标流AVStream,如果设置成-1则由ffmpeg自动操作选择一个默认的对象<br/>
timestamp: 设置需要seek到的时间点,它的单位是AVStream.time_base<br/>
flags:定义的枚举如下

#define AVSEEK_FLAG_BACKWARD 1 ///< 在设置的时间点向前找关键帧作为最终设置的目标时间点 #define AVSEEK_FLAG_BYTE     2 ///< 基于字节进行设置 #define AVSEEK_FLAG_ANY      4 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧 #define AVSEEK_FLAG_FRAME    8 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧

如果的设置实例代码如下:

av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);

完整的seek流程是这样的:

  • 1.暂停播放器
  • 2.清空音频与图像播放列队中的缓冲数据
  • 3.清空音频播放器AudioQueue中的缓冲数据
  • 4.清空ffmpeg中解码缓冲数据
  • 5.调用av_seek_frame
  • 6.唤醒解码线程继续解码
  • 7.恢复播放器继续播放 完整实例代码如下:
- (void)seekTo:(float)time {     [self pause];     [self.audioFrameCacheQueue clean];     [self.videoFrameCacheQueue clean];     pthread_mutex_lock(&(self->mutex));     avcodec_flush_buffers([_mediaVideoContext codecContext]);     avcodec_flush_buffers([_mediaAudioContext codecContext]);     [self.audioPlayer cleanQueueCacheData];     av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);     _NotifyWaitThreadWakeUp(self.decodeCondition);     pthread_mutex_unlock(&(self->mutex));     [self resume]; }

实现前进与后退

在seek的功能上实现前进与后退就变得非常简单了:

/// 后退 [self seekTo:self.currentTime - 3]; /// 前进 [self seekTo:self.currentTime + 3];

实现拖动滑块改变播放时间点

拖动的实现也是基于seek功能,这里需要注意一点的是在点击滑动的时候需要将播放暂停,在AppKit中使用NSSlider实现这一功能时需要单独实现

 _NSSlider : NSSlider (nonatomic, strong)void(^mouseDownBlock)(void); _NSSlider  - (void)mouseDown:(NSEvent *)event {     NSLog(@"滑动: 鼠标按下");     self.mouseDownBlock();     [super mouseDown:event]; } 

_NSSlider的变量continuous值设置成false,关闭拖动过程中连续的事件回调,只保留最后鼠标弹起来时的最后一次回调即可。在playerReadyToPlay回调函数中设置好_NSSlider的maxValue与minValue。
通过设置_NSSlider的action与target可以得到回调时具体需要seek的时间点。

 [self seekTo:sender.floatValue];

到此基本的视频控制功能就已经实现好了,具体的实现代码请查看git repo对应的tag。如果基于iOS UI上的实现更简单。AppKit的交互实现不是太友好。

总结:

  • 实现播放与暂停,通过对音频播放与图像渲染分别进行暂停与播放的控制。
  • 实现前进与后退,在seek实现的基础上轻松实现前进与快退。
  • 实现拖动滑块改变播放时间点,在seek的实现基础上轻松实现拖动功能,但需要特别注意NSSlider的实现。 <br/> <br/>更多内容请关注微信公众号<<程序猿搬砖>>

视频在播放过程中如果没有基本的播放控制功能,只能从头一直正常的播放到结束是一件非常糟糕的事。该节就来解决这个看起来很简单但又非常重要的问题。<br/>
ffmpeg开发播放器学习笔记 - 完善播放控制

✅ 第一节 – Hello FFmpeg
✅ 第二节 – 软解视频流,渲染 RGB24
✅ 第三节 – 认识YUV
✅ 第四节 – 硬解码,OpenGL渲染YUV
✅ 第五节 – Metal 渲染YUV
✅ 第六节 – 解码音频,使用AudioQueue 播放
✅ 第七节 – 音视频同步
🔔 第八节 – 完善播放控制
📗 第九节 – 倍速播放
📗 第十节 – 增加视频过滤效果
📗 第十一节 – 音频变声

该节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Player-Control<br/>
实例代码提供了Objective-CSwift两种实现,为了方便说明,文章引用的是Objective-C代码,因为Swift代码指针看着不简洁。<br/>
该节最终效果如下图:
ffmpeg开发播放器学习笔记 - 完善播放控制
image.png

目标

  • 实现播放与暂停
  • 实现前进与后退
  • 实现拖动滑块改变播放时间点

实现播放与暂停

音频的播放与图像的渲染是分开的,需要分别对音频播放与图像渲染分开控制即可
音频使用了AudioQueu,所以它的的暂停与播放控制代码如下:

- (void)pause {     AudioQueuePause(audioQueue);     NSLog(@"[音频]暂停"); } - (void)resume {     AudioQueueStart(audioQueue, NULL);     NSLog(@"[音频]恢复"); }

视频则是通过定时器进行控制的,所以它的暂停与播放控制代码如下:

- (void)startVideoRender {     if(self->video_render_timer) {         dispatch_source_cancel(self->video_render_timer);     }     self->video_render_timer = dispatch_source_create(DISPATCH_SOURCE_TYPE_TIMER, 0, 0, video_render_dispatch_queue);     float duration = 1.0 / self.fps * NSEC_PER_SEC;     dispatch_source_set_timer(self->video_render_timer, DISPATCH_TIME_NOW, duration, duration);     dispatch_source_set_event_handler(self->video_render_timer, ^{         [self playNextVideoFrame];     });     dispatch_resume(self->video_render_timer); }  - (void)stopVideoRender {     if(self->video_render_timer) dispatch_cancel(self->video_render_timer);     self->video_render_timer = NULL; } #pragma mark - Public - (void)start {     [self startVideoRender]; } - (void)stop {     [self stopVideoRender]; } - (void)pause {     [self stop]; } - (void)resume {     [self start]; }

暂停与播放实现比较简单<br/>

实现前进与后退

在实现前进与后退之前,需要实现播放的seek功能,即设置视频的播放时间点。好在ffmpeg已经内置了这个功能,但是还是有一些细节需要特别注意与处理<br/>

实现seek到具体某个时间点的功能

ffmpeg提供了seek的功能,它的定义如下:

int av_seek_frame(AVFormatContext *s,                    int stream_index,                    int64_t timestamp,                   int flags)

stream_index: 需要操作的目标流AVStream,如果设置成-1则由ffmpeg自动操作选择一个默认的对象<br/>
timestamp: 设置需要seek到的时间点,它的单位是AVStream.time_base<br/>
flags:定义的枚举如下

#define AVSEEK_FLAG_BACKWARD 1 ///< 在设置的时间点向前找关键帧作为最终设置的目标时间点 #define AVSEEK_FLAG_BYTE     2 ///< 基于字节进行设置 #define AVSEEK_FLAG_ANY      4 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧 #define AVSEEK_FLAG_FRAME    8 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧

如果的设置实例代码如下:

av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);

完整的seek流程是这样的:

  • 1.暂停播放器
  • 2.清空音频与图像播放列队中的缓冲数据
  • 3.清空音频播放器AudioQueue中的缓冲数据
  • 4.清空ffmpeg中解码缓冲数据
  • 5.调用av_seek_frame
  • 6.唤醒解码线程继续解码
  • 7.恢复播放器继续播放 完整实例代码如下:
- (void)seekTo:(float)time {     [self pause];     [self.audioFrameCacheQueue clean];     [self.videoFrameCacheQueue clean];     pthread_mutex_lock(&(self->mutex));     avcodec_flush_buffers([_mediaVideoContext codecContext]);     avcodec_flush_buffers([_mediaAudioContext codecContext]);     [self.audioPlayer cleanQueueCacheData];     av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);     _NotifyWaitThreadWakeUp(self.decodeCondition);     pthread_mutex_unlock(&(self->mutex));     [self resume]; }

实现前进与后退

在seek的功能上实现前进与后退就变得非常简单了:

/// 后退 [self seekTo:self.currentTime - 3]; /// 前进 [self seekTo:self.currentTime + 3];

实现拖动滑块改变播放时间点

拖动的实现也是基于seek功能,这里需要注意一点的是在点击滑动的时候需要将播放暂停,在AppKit中使用NSSlider实现这一功能时需要单独实现

 _NSSlider : NSSlider (nonatomic, strong)void(^mouseDownBlock)(void); _NSSlider  - (void)mouseDown:(NSEvent *)event {     NSLog(@"滑动: 鼠标按下");     self.mouseDownBlock();     [super mouseDown:event]; } 

_NSSlider的变量continuous值设置成false,关闭拖动过程中连续的事件回调,只保留最后鼠标弹起来时的最后一次回调即可。在playerReadyToPlay回调函数中设置好_NSSlider的maxValue与minValue。
通过设置_NSSlider的action与target可以得到回调时具体需要seek的时间点。

 [self seekTo:sender.floatValue];

到此基本的视频控制功能就已经实现好了,具体的实现代码请查看git repo对应的tag。如果基于iOS UI上的实现更简单。AppKit的交互实现不是太友好。

总结:

  • 实现播放与暂停,通过对音频播放与图像渲染分别进行暂停与播放的控制。
  • 实现前进与后退,在seek实现的基础上轻松实现前进与快退。
  • 实现拖动滑块改变播放时间点,在seek的实现基础上轻松实现拖动功能,但需要特别注意NSSlider的实现。 <br/> <br/>更多内容请关注微信公众号<<程序猿搬砖>>

可以的。

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » ffmpeg开发播放器学习笔记 – 完善播放控制求职学习资料
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们