我工作的一个分类问题的一个图像数据集,有11课程。 它包含一个共有11 000个图像,每一类具有1000图像,储存文件夹明智的(11个文件夹)。 该数据集的尺寸大约40MB. 之后我的数据上载从谷歌驱动器的成协作(其中实际上需要一些时间)和前过程之前喂养它的模型中,存储的协作成为95%完整的瞬间。 当我开始培训、协作崩溃,并且运行时的重置。 这种情况不会发生,当我使用Keras数据流从目录的功能。 我无法找到一个解决方案。 截图
0
这是发生因为通过调用合适的培训和验证的数据集,你迫使colab负载上的所有图像ram在同一此,需要编写一个发电机、一个简单的解决方案与大多数代码已经写入使用tfrecords,keras将处理其余部分。
https://www.tensorflow.org/tutorials/load_data/tfrecord
你需要储存的图像磁盘上,并采取他们在培训期间,并非所有的开始。
你没有必要使用tfrecords,可以使用的任何发电机你喜欢,但是这东西来的蝙蝠
BestDogeStackoverflow
嗯,我是使用Keras调音器在这里,所以我不确定如果发电机可以使用调谐搜查或没有
SDS