Tayloe tenía la fama de ser el propietario de la plantación más rica de Virginia, y se construyó una casa en Washington siguiendo el consejo de George Washington.