江杨氏名门望族，世世代代居住在春秋时期楚国上官大夫靳尚故居遗址大夫堂（今宁乡市花明楼镇大湖塘）。从小聪明敏慧，饱读诗书，但是无心科举，他经常在家中观赏山水花鸟，描摹成画，形象逼真，栩栩如生。家人于是请来着名教师尹和伯教授他书画，后来他又自学吴道子、唐寅、米芾和八大山人等名辈画家，后自成一家。学成之后，他远游南京、上海、天津、北京，一边画画一边学习和拜访名师，技艺大进。中年，杨世焯在自己家中的庄园大湖塘庄园设立学校，教授学生。学校开设刺绣、绘画、雕刻三门课程，他曾教出肖咏霞、杨佩珍、杨厚生等海内名家。