绪三十年（1904年）选内阁中书。光绪三十二年（1906年），入选考察政治馆馆员，其后任黑龙江将军程德全的幕僚，在黑龙江历任调査局总办、财政局会办。宣统三年（1911年）2月，被东三省总督钖良任命为交涉局总办。6月，他返回中央，任统计局副局长。12月，袁世凯与南方革命派南北议和开始，张国淦作爲参议随唐绍仪前往议和。中华民国成立后，张国淦任北洋政府铨叙局局长、国务院秘书长。此后历任总统府秘书长、内务部次长等要职，和同郷、副总统黎元洪交情深厚，与段祺瑞、徐世昌也是好友，袁世凯即皇帝即位前后，段祺瑞与之对立，