区块链技术博客
www.b2bchain.cn

机器学习加载数据集(输入管道 Pipeline)求职学习资料

本文介绍了机器学习加载数据集(输入管道 Pipeline)求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

  • 创建项目
  • 加载单张图
  • 显示单张图
  • 加载数据集
  • 显示数据集
  • 数据输入管道
    • cache
    • shuffle
    • prefetch
  • 小结
  • 参考链接

机器学习数据集为大家介绍了什么是数据集,如何收集数据集;机器学习计算机视觉基础 为大家介绍了图像在计算机中如何表达操作的;本文将为大家介绍如何在 TensorFlow 中加载数据集

创建项目

从 https://github.com/CatchZeng/YiAI-examples/releases/download/1.0.0/Glory.of.Kings.zip 下载数据集,将下载的 Glory.of.Kings.zip 解压。创建 load-dataset 项目,并将解压后的数据集拷贝到项目中。

机器学习加载数据集(输入管道 Pipeline)

注:代码地址 https://github.com/CatchZeng/YiAI-examples/blob/master/load-dataset/load-dataset.ipynb

加载单张图

from tensorflow.keras.preprocessing import image import numpy as np  def load_image(img_path, target_size):     img = image.load_img(img_path, target_size=target_size)     img_tensor = image.img_to_array(img)     return img_tensor  image_path = f'./Glory of Kings/train/houyi/houyi1.jpg' img_width = 224 img_height = 224 target_size = (img_width, img_height)  img_tensor = load_image(image_path, target_size) print(img_tensor.shape)
(224, 224, 3)

tf.keras.preprocessing.image 模块提供了加载图像图像增强的一些工具,在数据集预处理中经常用到。这里,先使用 load_img 从文件中加载图像为 PIL format。然后,通过 img_to_arrayPIL format 转换为 Numpy array

显示单张图

import matplotlib.pyplot as plt  def show_image(img_tensor):     print(f'img_tensor:{img_tensor[0][0]}')     show_tensor = img_tensor/255.     print(f'show_tensor:{show_tensor[0][0]}')     plt.imshow(show_tensor)     plt.axis('off')     plt.show()  show_image(img_tensor)
img_tensor:[31. 43. 65.] show_tensor:[0.12156863 0.16862746 0.25490198]

机器学习加载数据集(输入管道 Pipeline)

houyi1

matplotlib 是 Python 编程语言及其数值数学扩展包 NumPy 的可视化操作界面。pyplotmatplotlib 的一个模块,它提供了一个类似 MATLAB 的接口。

imshow 方法支持

  • (M,N):具有标量数据的图像。使用归一化和颜色图将这些值映射到颜色。
  • (M,N,3):具有RGB值(0-1浮点0-255整数)的图像。
  • (M,N,4):具有RGBA值(0-1浮点0-255整数)的图像,即包括透明度

由于 img_to_array 返回值默认为 float32,所以无法直接使用 imshow 显示。因此,这里直接使用 img_tensor/255. 为图像数据做归一化。

加载数据集

“`py
import tensorflow as tf

data_dir = f”./Glory of Kings/train”
batch_size = 9
img_height = 224
img_width = 224
validation_split=0.2

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=validation_split,
subset=”training”,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=validation_split,
subset=”validation”,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)

  • 创建项目
  • 加载单张图
  • 显示单张图
  • 加载数据集
  • 显示数据集
  • 数据输入管道
    • cache
    • shuffle
    • prefetch
  • 小结
  • 参考链接

机器学习数据集为大家介绍了什么是数据集,如何收集数据集;机器学习计算机视觉基础 为大家介绍了图像在计算机中如何表达操作的;本文将为大家介绍如何在 TensorFlow 中加载数据集

创建项目

从 https://github.com/CatchZeng/YiAI-examples/releases/download/1.0.0/Glory.of.Kings.zip 下载数据集,将下载的 Glory.of.Kings.zip 解压。创建 load-dataset 项目,并将解压后的数据集拷贝到项目中。

机器学习加载数据集(输入管道 Pipeline)

注:代码地址 https://github.com/CatchZeng/YiAI-examples/blob/master/load-dataset/load-dataset.ipynb

加载单张图

from tensorflow.keras.preprocessing import image import numpy as np  def load_image(img_path, target_size):     img = image.load_img(img_path, target_size=target_size)     img_tensor = image.img_to_array(img)     return img_tensor  image_path = f'./Glory of Kings/train/houyi/houyi1.jpg' img_width = 224 img_height = 224 target_size = (img_width, img_height)  img_tensor = load_image(image_path, target_size) print(img_tensor.shape)
(224, 224, 3)

tf.keras.preprocessing.image 模块提供了加载图像图像增强的一些工具,在数据集预处理中经常用到。这里,先使用 load_img 从文件中加载图像为 PIL format。然后,通过 img_to_arrayPIL format 转换为 Numpy array

显示单张图

import matplotlib.pyplot as plt  def show_image(img_tensor):     print(f'img_tensor:{img_tensor[0][0]}')     show_tensor = img_tensor/255.     print(f'show_tensor:{show_tensor[0][0]}')     plt.imshow(show_tensor)     plt.axis('off')     plt.show()  show_image(img_tensor)
img_tensor:[31. 43. 65.] show_tensor:[0.12156863 0.16862746 0.25490198]

机器学习加载数据集(输入管道 Pipeline)

houyi1

matplotlib 是 Python 编程语言及其数值数学扩展包 NumPy 的可视化操作界面。pyplotmatplotlib 的一个模块,它提供了一个类似 MATLAB 的接口。

imshow 方法支持

  • (M,N):具有标量数据的图像。使用归一化和颜色图将这些值映射到颜色。
  • (M,N,3):具有RGB值(0-1浮点0-255整数)的图像。
  • (M,N,4):具有RGBA值(0-1浮点0-255整数)的图像,即包括透明度

由于 img_to_array 返回值默认为 float32,所以无法直接使用 imshow 显示。因此,这里直接使用 img_tensor/255. 为图像数据做归一化。

加载数据集

“`py
import tensorflow as tf

data_dir = f”./Glory of Kings/train”
batch_size = 9
img_height = 224
img_width = 224
validation_split=0.2

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=validation_split,
subset=”training”,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=validation_split,
subset=”validation”,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)

  • 创建项目
  • 加载单张图
  • 显示单张图
  • 加载数据集
  • 显示数据集
  • 数据输入管道
    • cache
    • shuffle
    • prefetch
  • 小结
  • 参考链接

机器学习数据集为大家介绍了什么是数据集,如何收集数据集;机器学习计算机视觉基础 为大家介绍了图像在计算机中如何表达操作的;本文将为大家介绍如何在 TensorFlow 中加载数据集

创建项目

从 https://github.com/CatchZeng/YiAI-examples/releases/download/1.0.0/Glory.of.Kings.zip 下载数据集,将下载的 Glory.of.Kings.zip 解压。创建 load-dataset 项目,并将解压后的数据集拷贝到项目中。

机器学习加载数据集(输入管道 Pipeline)

注:代码地址 https://github.com/CatchZeng/YiAI-examples/blob/master/load-dataset/load-dataset.ipynb

加载单张图

from tensorflow.keras.preprocessing import image import numpy as np  def load_image(img_path, target_size):     img = image.load_img(img_path, target_size=target_size)     img_tensor = image.img_to_array(img)     return img_tensor  image_path = f'./Glory of Kings/train/houyi/houyi1.jpg' img_width = 224 img_height = 224 target_size = (img_width, img_height)  img_tensor = load_image(image_path, target_size) print(img_tensor.shape)
(224, 224, 3)

tf.keras.preprocessing.image 模块提供了加载图像图像增强的一些工具,在数据集预处理中经常用到。这里,先使用 load_img 从文件中加载图像为 PIL format。然后,通过 img_to_arrayPIL format 转换为 Numpy array

显示单张图

import matplotlib.pyplot as plt  def show_image(img_tensor):     print(f'img_tensor:{img_tensor[0][0]}')     show_tensor = img_tensor/255.     print(f'show_tensor:{show_tensor[0][0]}')     plt.imshow(show_tensor)     plt.axis('off')     plt.show()  show_image(img_tensor)
img_tensor:[31. 43. 65.] show_tensor:[0.12156863 0.16862746 0.25490198]

机器学习加载数据集(输入管道 Pipeline)

houyi1

matplotlib 是 Python 编程语言及其数值数学扩展包 NumPy 的可视化操作界面。pyplotmatplotlib 的一个模块,它提供了一个类似 MATLAB 的接口。

imshow 方法支持

  • (M,N):具有标量数据的图像。使用归一化和颜色图将这些值映射到颜色。
  • (M,N,3):具有RGB值(0-1浮点0-255整数)的图像。
  • (M,N,4):具有RGBA值(0-1浮点0-255整数)的图像,即包括透明度

由于 img_to_array 返回值默认为 float32,所以无法直接使用 imshow 显示。因此,这里直接使用 img_tensor/255. 为图像数据做归一化。

加载数据集

“`py
import tensorflow as tf

data_dir = f”./Glory of Kings/train”
batch_size = 9
img_height = 224
img_width = 224
validation_split=0.2

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=validation_split,
subset=”training”,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=validation_split,
subset=”validation”,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 机器学习加载数据集(输入管道 Pipeline)求职学习资料
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们