Fabio Nelli de Espinosa, hijo del banquero sienés Alfonso Nelli, nació en Valladolid, pero los negocios familiares en una época de auge del comercio con América le llevaron fuera de su ciudad natal hasta 1576, fecha de su vuelta definitiva y en la que encargó la construcción de su residencia.