Während des Zweiten Weltkriegs war Goddet strikt gegen eine Wiederaufnahme der "Tour", da er befürchtete, dass sein „Frieden im Juli“ von den Nationalsozialisten missbraucht würde. Als Mitbesitzer des Vélodrome d’Hiver konnte er allerdings nicht verhindern, dass das Velodrom ohne sein Einverständnis von den Deutschen für den Rafle du Vélodrome d’Hiver genutzt wurde, als im Juli 1942 dort 13.000 Juden vor ihrer Deportation gefangen gehalten wurden. Goddet bezeichnete dies bis zu seinem Tod als „das größte Leid seines Lebens“.