Cuando los nazis invadieron Yugoslavia en abril de 1941, su padrastro, a quien Flory trataba como a un padre, la puso en un tren que iba en dirección a Split con documentos falsos y removió la Estrella de David amarilla de su abrigo. Durante el viaje tocaba su acordeón ("hamoniku" en Serbo-croata) hasta que llegó a la ciudad de Split, entonces controlada por el régimen de Mussolini, enreteniendo a los pasajeros e incluso al conductor; nunca le pidieron su boleto. Sus padres llegaron a Split varios días después, e intentaron llegar a algunas de las islas frente a la costa croata. Flory y sus padres fueron enviados a la isla de Korčula, donde vivieron hasta otoño de 1943. Luego de la capitulación italiana, los judíos que vivían en Korčula zarparon en botes hacia Bari, Italia, la cual había sido liberada recientemente por el Ejército Británico.