义爱好武艺，加上出身自美浓可儿郡濑田村的左京之姊是斋藤道三的妾侍，后来道三便收正义为养子。正义后来自称大纳言是源于美浓斋藤氏持是院家的之孙大纳言，因此正义也被指是继承了持是院家。天文元年（1532年），正义元服，并且由日根野弘就给予他300名士兵，在初阵与道三敌对的土岐赖纯势力战斗。后来，道三在可儿郡中井户村以南的古城山上筑城，并且安排正义率领2,000兵力防守该处。天文6年（1537年），正义得到附近14名将领的协助，建立，道三在背后亦有份协助。翌年，正义入主乌峰城，并且自称大纳言。天文8年（1539