在江夏郡，带臧严就任，在路上写下作《屯游赋》，任昉见到就称赞臧严。他又作《七算》，文辞亦很华丽；个性耿直，不曾拜见他人。仆射徐勉想认识他，臧严始终不造访。之后他转任冠军将军行参军、侍读湘东王萧绎，累迁宣惠将军轻车府参军，兼官记室。臧严熟记所学，尤其精于《汉书》，随时能背诵篇章。萧绎曾经拿四部书目测试，他能从甲至丁卷中对上一事和作者姓名，绝无错漏，是如此学识广博。萧绎迁镇荆州，臧严随府转西中郎安西录事参军。历监义阳郡、武宁郡，郡内多蛮夷，之前都由武人任职，以兵镇守；他只和数名门生搭乘一辆马车入境，各蛮族人心悦