Grants far, Jesse Grant, nektet å delta ved bryllupet deres (den 22. august 1848) og protesterte ikke mot Julia personlig, men fordi familien hennes eide slaver.