Al Hospital de Esgueva, en la calle del mismo nombre de Valladolid y ya desaparecido, se le atribuía haber sido el antiguo palacio construido por el conde pero no hay constancia documental de ello.