Under den andre verdenskrig ble Spenner utstasjonert i Manila på Filippinene. Der ble han tatt til fange av japanerne i 1942 og han tilbrakte de neste tre og et halvt årene i en fangeleir i Los Baños. Han ble underernært på grunn av for lite og dårlig mat. Han ble befridd fra fangenskapet den 23. februar 1945. I tiden som krigsfange, lærte Spenner seg noe japansk. Han snakket også flytende tysk, spansk og fransk.