Eu estou trabalhando em uma classificação problema com um conjunto de dados de imagem, tendo 11 classes. Ele contém um total de 11.000 imagens, e cada classe tem 1000 imagens, armazenadas pasta-sábio (11 pastas). O conjunto de dados de tamanho é de cerca de 40MB. Depois de eu fazer o upload dos dados a partir do google drive em collab( que, na verdade, leva algum tempo) e pré-processo, antes de alimentá-lo para o modelo, a memória da collab torna-se 95% total instantaneamente. Quando eu começar a treinar, collab falha, e o tempo de execução é redefinido. Isso não acontece quando eu uso Keras de fluxo de dados-a partir do diretório de função. Eu sou incapaz de encontrar uma solução. Imagem
0
Isso está acontecendo porque chamando ajuste com o trem e validação de conjuntos de dados estão forçando colab para carregar todas as imagens na memória ram ao mesmo esse, você precisa escrever um gerador, uma solução fácil com a maior parte do código já escrito é usar o tfrecords, keras irá lidar com o resto.
https://www.tensorflow.org/tutorials/load_data/tfrecord
você precisa para armazenar imagens de disco e tomar durante o treino, e não todos no início.
você não tem que usar tfrecords, você pode usar qualquer um gerador que você gosta, mas que coisa é direito fora do bastão
BestDogeStackoverflow
Bem, eu estou usando o Sintonizador de Keras aqui, então eu não tenho certeza se o gerador pode ser utilizado com sintonizador de pesquisa ou não
SDS