实际上归国派为了夺权而反对征韩，惧怕士族势力会过度膨胀。在1873年10月末，归国派说服明治天皇颁旨反对即时征韩。备受天皇及归国派的压力下，留守官员的首领们，如西乡隆盛、板垣退助、江藤新平等均辞职，同时有600多名军人及官员亦离开政府。同时大久保利通、岩仓具视等归国派夺得大权，继续推行维新政策。下野后征韩论派分裂：一派以温和方式争取参政，以板垣退助、后藤象二郎为首，在翌年上交民撰议院设立建白书，发起了自由民权运动；另一派以暴力士族抗争为手段，以西乡隆盛、江藤新平为首，发起了士族反乱，乃至1877年的西南