谷歌colab记忆变得全面后的图像数据集的数据上传

0

的问题

我工作的一个分类问题的一个图像数据集,有11课程。 它包含一个共有11 000个图像,每一类具有1000图像,储存文件夹明智的(11个文件夹)。 该数据集的尺寸大约40MB. 之后我的数据上载从谷歌驱动器的成协作(其中实际上需要一些时间)和前过程之前喂养它的模型中,存储的协作成为95%完整的瞬间。 当我开始培训、协作崩溃,并且运行时的重置。 这种情况不会发生,当我使用Keras数据流从目录的功能。 我无法找到一个解决方案。 截图

1

最好的答案

0

这是发生因为通过调用合适的培训和验证的数据集,你迫使colab负载上的所有图像ram在同一此,需要编写一个发电机、一个简单的解决方案与大多数代码已经写入使用tfrecords,keras将处理其余部分。

https://www.tensorflow.org/tutorials/load_data/tfrecord

你需要储存的图像磁盘上,并采取他们在培训期间,并非所有的开始。

2021-11-20 16:21:30

你没有必要使用tfrecords,可以使用的任何发电机你喜欢,但是这东西来的蝙蝠
BestDogeStackoverflow

嗯,我是使用Keras调音器在这里,所以我不确定如果发电机可以使用调谐搜查或没有
SDS

其他语言

此页面有其他语言版本

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................