之子。张万公幼聪颖，好读书。完颜亮正隆二年（1157年）进士。任新郑主簿。金世宗大定四年（1164年），为东京（今辽宁省辽阳市）辰渌盐副使。历任长山（今山东省邹平县东北）令、尚书省令史、尚书右司员外郎、刑部侍郎。因为上书言事忤旨，除彰国军节节度使。金章宗即位，选为南京（今河南省开封市）路提刑使。因治绩升御史中丞。明昌二年（1191年）拜参知政事。明昌四年（1193年），请归养老母，任知东平府事兼山东东路安抚使。时山东连年旱蝗灾，沂州、密州、莱州、莒州、潍州五州尤甚。奏请将盐引赴山东五州给卖，再许以纳粮易