Los recuerdos más dolorosos de Mill en su infancia conectan con la forma en la que su padre, seguidor de la teoría denominada utilitarismo, hablaba y trataba a su esposa e hijos delante de los invitados, llegando a decir que su educación no fue una educación de amor sino de miedo.