Etter at de allierte styrkene ble trukket tilbake fra Norge, kom Holley til Storbritannia. Den 19. juni 1940 sluttet han seg til De frie franske styrker under Charles de Gaulles ledelse. Han brukte «Jacques Hebrard» som sitt «nom de guerre». Holley ble flere ganger sluppet i fallskjerm over Frankrike. Natten mellom til 3. juni 1942 ble han sluppet ut over Montluçon for å drive motstandsarbeid og holde radiosamband med London. Den 20. januar 1943 ble han tatt til fange i Annecy, torturert av Gestapo og overlevert til italienerne. Han ble holdt i fangenskap forskjellige steder i Italia til han i 1944 ble han sendt til Mauthausen-Gusen konsentrasjonsleir i Østerrike, der han ble satt til tvangsarbeid i et steinbrudd. Senere førte tvangsarbeidet Holly til Loiblpasset mellom Østerrike og Slovenia. Holly ble frigjort av jugoslaviske partisaner 8. mai 1945. Deretter kom han tilbake i fransk militærtjeneste og var en tid i Napoli, før han i juli 1945 begynte i etterretningstjenesten Direction générale des études et recherches i Paris.