祺瑞的威逼利诱，拒绝签字，从而失去了段祺瑞的信任。后来皖系军阀失势，张国淦再度被起用。以后，除了段祺瑞的临时执政内阁外，张国淦在其他内阁皆历任农商总长、教育总长、司法总长、内务总长等要职。中国国民党北伐成功，北洋政府倒台，张国淦下野，寓居天津，从事地方志等研究。抗日战争爆发后，他移居上海，此后他拒绝了参加亲日政府的诱惑，专心在野着述。民国三十五年（1946年），出任《文汇报》董事长。中华人民共和国成立后，张国淦留在大陆，任上海文史研究馆馆员，编写回忆録。1953年，应董必武之邀任中国科学院近现代史研