贫寒，初为民间画工，相传曾随张旭、贺知章学习书法，年轻时即有画名。后来作了山东兖州瑕丘县尉，不久即辞职。漫游洛阳，从事壁画创作。时曾为将军裴旻作画，被当时人将张旭草书、裴旻舞剑、吴道子作画同时称为“三绝”。开元年间以善画被唐玄宗召入宫中，历任供奉、中书省内教博士，改为道玄，后官宁王友（官名），此后一直为宫廷作画。通过观赏公孙大娘舞剑，体会用笔之道。吴道子擅佛教、道教人物画，还有神鬼、人物、山水、鸟兽、草木、楼阁等，尤精于佛道、人物，长于壁画创作，据载他曾于长安、洛阳两地寺观中绘制壁画多达300余堵，奇踪