是宋神宗元丰二年（1079年）进士，知雍丘县。绍圣年间，被蔡京推荐，提举两浙路（治所在今杭州市）常平，整治役法，豪强奸猾敛服，发仓救灾，江南数万人就食。转任福建路转运判官。崇宁元年（1102年）入为吏部员外郎、左司员外郎、起居郎。崇宁二年（1103年）宋徽宗知道他能写诗词，任命他为中书舍人、翰林学士。崇宁三年（1104年）进承旨，拜尚书左丞，知枢密院事。开始张康国作为蔡京一党，制定元祐党籍名单，蔡京专权后，二人关系失和。宋徽宗想用他牵制蔡京。大观三年（1109年）张康国病亡，赠开府仪同三司，谥文简。