乱爆发，曹霸因作品有影射唐朝之嫌，被削职免官，自此过着流离失所的生活。当他流亡至成都时，身无分文，仅靠为人绘画肖像谋生，生活困苦，后来杜甫几经寻访，终于与之相见，他更为曹霸创作《丹青引赠曹将军霸》及《观曹将军画马图》二诗，表达对其际遇的同情。有一弟子韩干，同样善于绘画，然而杜甫认为，韩干之作，画肉不画骨，有其形而欠其神髓。论及形神兼备，始终是曹霸更胜一筹。由于曹霸传世画作均已亡佚，其精妙之处，只能透过杜甫诗作一窥其貌。