在宴会里大出风头，被称为“神仙童子”。隋朝大业末年，举孝悌廉洁科，官为秘书正字。简傲嗜酒，因不愿在京任职，去做了六和县丞，不理政事，天天喝酒(所以称为五斗先生)，屡被弹劾。王绩叹曰：“网罗高悬，去将安所？”不久，“托以风疾，轻舟夜遁”，辞官回家。唐朝武德年间，征集隋朝旧官，薛收推荐王绩征为门下省待诏，其弟王静问他：“待诏可乐否？”答曰：“吾待诏，俸殊为萧瑟，但良酝三升，差可恋尔。”日给酒一斗，时人称之“斗酒学士”。贞观四年（630年），因其兄王凝因弹劾大臣侯君集获罪，“王氏兄弟皆抑而不用”，王绩称疾退隐