4年），北方大旱，官员郑侠向神宗呈上流民图一幅，图中景象惨不忍睹，神宗受到极大震撼。次日，神宗就下令暂罢青苗、方田、免役等十八项新法。尽管这些法令不久后被恢复，但神宗与王安石之间开始不信任。熙宁七年四月，王安石首次被罢相，出知江宁府。后来变法派中的官员吕惠卿肆意妄为，王安石因此复职回京，但依然受到保守派的坚决阻挠。熙宁九年（1076年）六月，王安石长子，也是王安石主持新法的主要助手王雱去世，王安石借机坚决求退，神宗于十月再罢相位，此后王安石便不问世事。后人对熙宁新法的看法非常两极，但无庸质疑的是，新法的推