通于读书，见天下乱，特别留意纵横家的学说。隋末投奔瓦岗军，成为该军将领元宝藏的书记，因为文辞优美被李密欣赏，魏征进献十条计策给李密，李密很欣赏，但未能採用。兵败，归唐。后为窦建德所俘，建德念其才而收之。建德兵败，复归唐，拜太子洗马，事太子李建成。玄武门之变后，唐太宗以其耿直，不杀，且升谏议大夫，后迁秘书监、侍中等职，犯颜直谏太宗二百余次。长孙皇后派人告诉魏征：“闻公正直，今才得实。愿公常守此志，勿少变更。”一次，李世民“得佳鹞，自臂之，望见征来，匿怀中；征奏事固久不已，鹞竟死怀中。”