El Palacio de Ábalos tiene su origen en el linaje de Ramírez de la Piscina, cuyos escudos se encuentran en la fachada principal, toda ella de piedra de sillería.