Aunque no existe información documental al respecto, hay pistas que indicarían que la actual casona de los Sabugo podría haber sido la residencia del marqués con base en que esta ocupa un lugar de honor dentro de la plaza central de la villa (privilegio habitual para las casas señoriales) y, aún hoy, se denomina Traspalacio (entiéndase detrás del palacio) al paraje que se haya por detrás de esta casa.