Holman hadde et variert og intimt forhold, både til menn og kvinner i løpet av sitt liv. Hennes berømte lesbiske elskere omfattet DuPont arvingen, Louisa d'Andelot Carpenter' skuespiller Jeanne Eagels og forfatterinnen Jane Bowles. Carpenter kom til å spille en betydelig rolle gjennom hele Holmans liv. De oppdro sine barn og bodde sammen og var åpenlyst akseptert av sine kolleger. Hun skandaliserte med forhold til meget yngre menn, slik som den amerikanske skuespiller Montgomery Clift som hun også veiledet.