Collins nunca contrajo matrimonio, pero desde 1858 hasta su muerte mantuvo sucesivas relaciones intermitentes con la viuda Caroline Graves y posteriormente con su hija Elizabeth, a la que el escritor llamaba "Carrie".