奇问公子为什么不多停留一刻，蔡京说：“这小子是想以我身体抱恙为由罢黜我。”果然不久蔡京就被诏令致仕。宣和四年（1122年）九月，涿州留守郭药师率八千人归降宋朝，蔡攸因功进封少傅。封英国公、燕国公。蔡京一度复出但宣和六年（1124年）又一次被迫致仕，蔡攸与童贯奉命前去索要谢表，蔡京说“因为主上深恩未报，我不忍心辞职，这种心情二公是可以理解的”，称儿子蔡攸为“公”，为人所笑。七年（1125年）十二月，金兵入侵，徽宗禅让，改年号靖康，实出于蔡攸之议。后蔡攸随宋徽宗赵佶南下。靖康元年三月，蔡京责授崇信军节度副使、德