Etter farens nederlag i den engelske borgerkrig ble den seks år gamle prinsen tatt til fange og ført til London. Hans eldre brødre Charles og James rømte til Frankrike sammen med moren. Prinsen ble holdt i den kongelige leiligheten i Tower of London, «beskyttet» av parlamentshæren.