La Quinta del Sordo pasó a ser propiedad de su nieto Mariano Goya en 1823, año en que Goya, al parecer para preservar su propiedad de posibles represalias tras la restauración de la monarquía absoluta y la represión de liberales fernandina, se la cedió.