Harilal var gift med Gulab Gandhi. De hadde fem barn sammen, hvorav to døde i ung alder. Nilam Parikh, datter av Ramibehn, som var den eldste av Harilals barn har skrevet en biografi om ham, kalt . Harilal tilbrakte den siste delen av sitt liv som alkoholiker og nødlidende. Han dukket opp i farens begravelse i en slik forfallen tilstand at det var få som kjente ham igjen.