Efter skotternes nederlag i Slaget ved Halidon Hill i 1333 under den 2. Skotske Uafhængighedskrig blev barnekongen David 2. af Skotland sammen med dele af sit hof tvunget til at flygte til Frankrig. Det sydlige Skotland var nu besat af styrker under den engelske konge Edvard 3. Den niårige David og hans trolovede den 12-årige Johanne af England, datter af Edvard 2. af England, fik overdraget Château Gaillard som residens af den franske konge Filip 6. Her blev de boende, til David vendte tilbage til Skotland i 1341. David kom dog ikke på fri fod længe. Han blev taget til fange efter Slaget ved Neville's Cross i 1346 og kom til sidde som fange i Tower of London i 11 år.