Durante il regno di Edoardo II (1307-1327) vi fu relativamente poca attività presso la Torre di Londra. Nel 1321 Margaret de Clare, baronessa Badlesmere divenne la prima donna ad essere qui imprigionata dopo aver tentato di uccidere la regina Isabella ferendo mortalmente sei militari della scorta reale. Riservata in genere ai detenuti di alto rango, la Torre fu la prigione reale più importante del paese. Tuttavia non fu mai molto sicura e spesso i prigionieri corruppero le guardie per aiutarli a fuggire. Nel 1322 Ruggero Mortimer, I conte di March, fu aiutato nella sua fuga dalla Torre dal sottotenente della Torre che permise agli uomini di Mortimer di entrare. Una volta evaso, Mortimer scappò in Francia dove incontrò la regina madre Isabella di Francia con cui iniziò una relazione e un complotto per rovesciare il re. Uno dei primi atti di Mortimer, una volta rientrato in Inghilterra, fu quello di conquistare la Torre e liberare i prigionieri detenuti. Per tre anni egli governò mentre Edoardo III era troppo giovane per poterlo fare; nel 1330, Edoardo e i suoi sostenitori catturarono Mortimer e lo gettarono nella Torre. Sotto il regno di Edoardo III (1312-1377) l'Inghilterra ritrovò i successi militari, in particolare grazie alle battaglie di Crécy e Poitiers, in cui il re Giovanni II di Francia fu fatto prigioniero, e alla cattura del re Davide II di Scozia avvenuta nel corso della battaglia di Durham. Durante questo periodo, la Torre di Londra ospitò molti nobili prigionieri di guerra. Edoardo II aveva permesso che la Torre cadesse in uno stato di abbandono e dunque durante il regno di Edoardo III il castello fu un posto scomodo. La nobiltà tenuta prigioniera all'interno delle sue mura non fu nelle possibilità di praticare la caccia, ammessa nelle altre fortezze reali utilizzate come prigioni. Edoardo III ordinò, quindi, che il castello fosse ristrutturato.