Como este castillo fue en su primera época puramente militar, al habitarlo los señores de Valdecorneja, condes y duques de Alba de Tormes, resultó estrecho e incómodo.