侠画《流民图》，图中流民或身背锁械，或口食草根，告诉神宗说旱灾是王安石造成的，神宗大受刺激，对变法产生重大怀疑。王安石认为「水旱常数，尧、汤所不免」，司马光又上《应诏言朝廷阙失状》。神宗熙宁七年（1074年），王安石第一次罢相，出知江宁府。变法运动由韩绛、吕惠卿等人继续执行，吕惠卿师心自用，引起朝中大臣的不满。神宗熙宁八年（1075年）二月，召王安石回京复职，继续执行新法。入京途中，王安石夜泊瓜洲，有一诗：「京口瓜洲一水间，钟山只隔数重山。春风又绿江南岸，明月何时照我还。」同年十一月有彗星出现于天，