察政治馆馆员，其后任黑龙江将军程德全的幕僚，在黑龙江历任调査局总办、财政局会办。宣统三年（1911年）2月，被东三省总督钖良任命为交涉局总办。6月，他返回中央，任统计局副局长。12月，袁世凯与南方革命派南北议和开始，张国淦作爲参议随唐绍仪前往议和。中华民国成立后，张国淦任北洋政府铨叙局局长、国务院秘书长。此后历任总统府秘书长、内务部次长等要职，和同郷、副总统黎元洪交情深厚，与段祺瑞、徐世昌也是好友，袁世凯即皇帝即位前后，段祺瑞与之对立，张国淦曾从中调停。袁世凯死后，黎元洪任大总统，段祺瑞任国务总理。