Caesar's Tower og Guy's Tower er bygget til beboelse og kan have franske forbilleder (som Bricquebec). Begge tårne har hvælvede stenlofter på hver etage. Caesar's Tower har et unikt dobbelt brystværn og havde også en fangekælder. Ifølge lokale legender, der mindst går tilbage til 1644, er det også kendt som Poitier's Tower, enten fordi fanger fra slaget ved Poitiers i 1356 var fængslet her, eller fordi løsepenge tjent ved slaget har betalt for det.