En la época en la que fue nombrado regidor de Segovia, hacia mediados del siglo XV, momento en que su fortuna comenzaba a crecer cómodamente, decidió edificar el palacio familiar, del que se conserva en la actualidad la Torre de los Arias Dávila, una torre albarrana mudéjar decorada con el característico esgrafiado segoviano, que se libró de la remodelación del palacio que llevó a cabo el conde de Puñonrostro con posterioridad.