凯即皇帝即位前后，段祺瑞与之对立，张国淦曾从中调停。袁世凯死后，黎元洪任大总统，段祺瑞任国务总理。张国淦历任国务院秘书长、农商总长、司法总长。府院之争时，张国淦曾为维持府院关系而奔走调停。但在西原借款问题上，身为农商总长的张国淦不顾日本公使林权助和段祺瑞的威逼利诱，拒绝签字，从而失去了段祺瑞的信任。后来皖系军阀失势，张国淦再度被起用。以后，除了段祺瑞的临时执政内阁外，张国淦在其他内阁皆历任农商总长、教育总长、司法总长、内务总长等要职。中国国民党北伐成功，北洋政府倒台，张国淦下野，寓居天津，从事地方志