自己圈子的朋友和支持者的意见，拒绝接纳其他人的看法，这成为了他的一大错误。另一方面，尽管伦敦士绅当时多有包养情妇的习惯，但福克斯亦因为特别沉迷女色而名声不佳。在大约1784年至1785年间，福克斯与交际花伊丽莎伯·阿米斯德堕入爱河，而阿米斯德正是威尔斯亲王的前度情妇。 两人在1795年9月28日于亨廷顿郡的怀顿（Wyton）举行私人仪式完婚，但这段婚姻一直迟至1802年10月才公之于世。因为阿米斯德的背景关系，她从来没有被上流社会所正式接纳。福克斯晚年减少出席国会辩论，而多花时间待在阿米斯德位于萨里郡彻