宁二年（1103年）宋徽宗知道他能写诗词，任命他为中书舍人、翰林学士。崇宁三年（1104年）进承旨，拜尚书左丞，知枢密院事。开始张康国作为蔡京一党，制定元祐党籍名单，蔡京专权后，二人关系失和。宋徽宗想用他牵制蔡京。大观三年（1109年）张康国病亡，赠开府仪同三司，谥文简。