Flynt tiene cinco hijos y se ha casado cinco veces; su matrimonio más duradero fue con su cuarta esposa, Althea, desde 1976 hasta la muerte de ésta en 1987.