Lambeth Palace is sinds 1200 in het bezit van de kerk. Tijdens de Engelse Boerenopstand van 1381 was het paleis een van de gebouwen die aangevallen werd door de rebellen. Vandaag de dag is het oudste nog resterende gedeelte van Lambeth Palace de Engels gotische kapel, de Lollards Tower genaamd. Deze dateert uit 1435-1440, en was in de 17e eeuw nog in gebruik als gevangenis. De voorzijde van het paleis werd gebouwd in 1495 in opdracht van kardinaal John Morton, en bestaat uit een bakstenen gebouw in vroege Tudorstijl.