I juni 1667, under den andre anglo-nederlandske krig, ble Oldenburg arrestert, etter ordre fra lord Arlington. Lord Arlington var Secretary of State for the Southern Department, en ministerstilling med ansvar for både inneriks- og utenrikssaker. Oldenburg ble holdt fengslet i Tower of London fram til august samme år, da han ble løslatt, uten å ha vært stilt for retten.