Grant presuntamente estuvo involucrado sentimentalmente con el diseñador de vestuario Orry-Kelly cuando primero se trasladó a Manhattan y luego vivió con el actor Randolph Scott durante 12 años.