初年拔擢拜吏部侍郎，后授晋州刺史。唐睿宗即位，因两人是藩邸旧识，景云二年迁右散骑常侍同中书门下平章事。唐玄宗开元初年官至黄门监（门下侍中）。开元二年（714年），赴洛阳考察，与姚崇不合，刚好姚崇二子前往拜访魏知古，颇招权请托。魏知古将这件事告诉唐玄宗。不久玄宗召姚崇问其子，“卿子才性何如？今何官也？”姚崇揣知上意，回答说“臣有三子，两在东都，为人多欲而不谨；是必以事干魏知古，臣未及问之耳。”。五月二十五日，知古被罢为工部尚书。
子嗣.魏知古共有五子：魏哲，延安太守；魏毖，阳安