区块链技术博客
www.b2bchain.cn

WWDC20 10642 – 使用 Create ML 打造图片和视频的风格转化模型求职学习资料

本文介绍了WWDC20 10642 – 使用 Create ML 打造图片和视频的风格转化模型求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

本文源自 WWDC 2020 – 10642:Build Image and Video Style Transfer models in Create ML

简介

本文主要介绍了苹果 Create ML 团队新推出一项新的机器学习能力:Style Transfer,也就是风格转化的机器学习能力。文中将会为大家介绍如何构建图片和视频的风格转化模型。

Style Transfer 是一项新的机器学习任务,今年可在 Create ML 应用程序中使用。它可以将风格和内容两张图像融合在一起。

我们先来看下它可以实现的效果。左右分别是风格图像和准备风格化的内容图像,下方是输出的风格化后的图片。
WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型
WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型

我们可以看到,该模型能够将颜色、形状和纹理从风格图像转移到内容图像。

风格图像的颜色非常重要,会直接影响输出图像的样式。例如下方的例子,训练模型会学习我们给出的风格图像的白色背景和黑色线条,以此来创建黑白线条风格的结果图像。

当然,绘画不是风格图像的唯一来源,你可以使用各式各样与众不同的风格图像来表达您的创造力。例如下面的几个示例。这些只是你可以使用风格转化的几个示例。

WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型

但是,我们的能力不止于此,我们甚至可以直接将风格转化的模型直接应用到视频上。每帧的风格转化速度都足够快,以保持流畅的视频风格转化。因此可以为视频 App 实时应用风格转化模型。使用 A13 仿生芯片时,我们可以达到每秒120帧的处理速度。

如何训练模型

要训​​练样式转移模型,我们需要提供一些训练数据,包括一张风格图像和一个包含许多内容图像的文件夹。该模型从图像中学习内容和样式之间的平衡。为了获得最佳结果,用于训练的内容图像应与您期望在推理时风格化的图像相似。
我们可以调整模型参数来优化样式转移模型的行为。您可以使用风格强度和风格密度这两个模型参数来配置模型的行为。

1、风格强度

风格强度参数可以调整样式和内容之间的平衡。在风格强度较低的时候,只有部分图像背景会被风格化,而在风格强度很高的时候,整个图像都会被明显风格化。

本文源自 WWDC 2020 – 10642:Build Image and Video Style Transfer models in Create ML

简介

本文主要介绍了苹果 Create ML 团队新推出一项新的机器学习能力:Style Transfer,也就是风格转化的机器学习能力。文中将会为大家介绍如何构建图片和视频的风格转化模型。

Style Transfer 是一项新的机器学习任务,今年可在 Create ML 应用程序中使用。它可以将风格和内容两张图像融合在一起。

我们先来看下它可以实现的效果。左右分别是风格图像和准备风格化的内容图像,下方是输出的风格化后的图片。
WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型
WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型

我们可以看到,该模型能够将颜色、形状和纹理从风格图像转移到内容图像。

风格图像的颜色非常重要,会直接影响输出图像的样式。例如下方的例子,训练模型会学习我们给出的风格图像的白色背景和黑色线条,以此来创建黑白线条风格的结果图像。

当然,绘画不是风格图像的唯一来源,你可以使用各式各样与众不同的风格图像来表达您的创造力。例如下面的几个示例。这些只是你可以使用风格转化的几个示例。

WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型

但是,我们的能力不止于此,我们甚至可以直接将风格转化的模型直接应用到视频上。每帧的风格转化速度都足够快,以保持流畅的视频风格转化。因此可以为视频 App 实时应用风格转化模型。使用 A13 仿生芯片时,我们可以达到每秒120帧的处理速度。

如何训练模型

要训​​练样式转移模型,我们需要提供一些训练数据,包括一张风格图像和一个包含许多内容图像的文件夹。该模型从图像中学习内容和样式之间的平衡。为了获得最佳结果,用于训练的内容图像应与您期望在推理时风格化的图像相似。
我们可以调整模型参数来优化样式转移模型的行为。您可以使用风格强度和风格密度这两个模型参数来配置模型的行为。

1、风格强度

风格强度参数可以调整样式和内容之间的平衡。在风格强度较低的时候,只有部分图像背景会被风格化,而在风格强度很高的时候,整个图像都会被明显风格化。

本文源自 WWDC 2020 – 10642:Build Image and Video Style Transfer models in Create ML

简介

本文主要介绍了苹果 Create ML 团队新推出一项新的机器学习能力:Style Transfer,也就是风格转化的机器学习能力。文中将会为大家介绍如何构建图片和视频的风格转化模型。

Style Transfer 是一项新的机器学习任务,今年可在 Create ML 应用程序中使用。它可以将风格和内容两张图像融合在一起。

我们先来看下它可以实现的效果。左右分别是风格图像和准备风格化的内容图像,下方是输出的风格化后的图片。
WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型
WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型

我们可以看到,该模型能够将颜色、形状和纹理从风格图像转移到内容图像。

风格图像的颜色非常重要,会直接影响输出图像的样式。例如下方的例子,训练模型会学习我们给出的风格图像的白色背景和黑色线条,以此来创建黑白线条风格的结果图像。

当然,绘画不是风格图像的唯一来源,你可以使用各式各样与众不同的风格图像来表达您的创造力。例如下面的几个示例。这些只是你可以使用风格转化的几个示例。

WWDC20 10642 - 使用 Create ML 打造图片和视频的风格转化模型

但是,我们的能力不止于此,我们甚至可以直接将风格转化的模型直接应用到视频上。每帧的风格转化速度都足够快,以保持流畅的视频风格转化。因此可以为视频 App 实时应用风格转化模型。使用 A13 仿生芯片时,我们可以达到每秒120帧的处理速度。

如何训练模型

要训​​练样式转移模型,我们需要提供一些训练数据,包括一张风格图像和一个包含许多内容图像的文件夹。该模型从图像中学习内容和样式之间的平衡。为了获得最佳结果,用于训练的内容图像应与您期望在推理时风格化的图像相似。
我们可以调整模型参数来优化样式转移模型的行为。您可以使用风格强度和风格密度这两个模型参数来配置模型的行为。

1、风格强度

风格强度参数可以调整样式和内容之间的平衡。在风格强度较低的时候,只有部分图像背景会被风格化,而在风格强度很高的时候,整个图像都会被明显风格化。

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » WWDC20 10642 – 使用 Create ML 打造图片和视频的风格转化模型求职学习资料
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们