Hallyday hadde en sønn med sangerinnen Sylvie Vartan, som han var gift med fra 1965 til 1980, og en datter med skuespillerinnen Nathalie Baye som han levde sammen med fra 1982 til 1986. Han var gift med Læticia Boudou fra 1996.