国淦下野，寓居天津，从事地方志等研究。抗日战争爆发后，他移居上海，此后他拒绝了参加亲日政府的诱惑，专心在野着述。民国三十五年（1946年），出任《文汇报》董事长。中华人民共和国成立后，张国淦留在大陆，任上海文史研究馆馆员，编写回忆録。1953年，应董必武之邀任中国科学院近现代史研究所研究员。1955年，当选第二届全国政协委员。1959年1月25日，张国淦在北京病逝。享年84嵗（満82歳）。