Como posso reduzir ainda mais o valor da perda em um CNN modelo? [fechado]

Eu estou tentando construir um CNN para classificar as frutas. Eu tenho experimentado altos valores de perda e eu estou tentando reduzi-lo tanto quanto eu posso, mas eu não tenho certeza de como melhorar o meu modelo ainda.

Aqui é o meu código:

model96 = tf.keras.Sequential()

#Architecture
model96.add(tf.keras.layers.Conv2D(filters = 32,
                                 kernel_size = (3, 3),
                                 activation = "relu",
                                 input_shape = (96, 96, 3)))

model96.add(tf.keras.layers.Conv2D(filters = 32,
                                 kernel_size = (3, 3),
                                 activation = "relu"))

model96.add(tf.keras.layers.MaxPooling2D(pool_size=(2, 2)))

model96.add(tf.keras.layers.Dropout(rate=0.25))

model96.add(tf.keras.layers.Flatten())

model96.add(tf.keras.layers.Dense(units=128, activation='relu'))

model96.add(tf.keras.layers.Dropout(rate=0.5))

#output layer
model96.add(tf.keras.layers.Dense(units=4, activation='softmax'))

#Loss function
model96.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

#Train model
hist96 = model96.fit(x=x_train96_norm, y=y_train, epochs=100)

#Test and Evaluate
print("Performance with test data:")
loss96, accuracy96 = model96.evaluate(x=x_test96_norm, y=y_test)
print('loss =', loss96)
print('accuracy =', accuracy96)

Durante o treinamento, o final de perda de valor foi 0.0153 e o final valor da precisão foi 0.9958, no entanto, durante o ensaio, o modelo marcou: loss = 1.0462701320648193 e accuracy = 0.8666666746139526