，家中庶子（一说指生母是义龙的正室近江之方（近江局），因此是嫡子。另外，一说指近江之方是浅井久政的女儿，但是义龙和久政的年龄只差1岁，所以亦有指近江之方不是久政的实女，而是养女。由此，近江之方是久政的父亲浅井亮政的女儿的说法比较有力。）。幼名喜太郎。永禄4年（1561年），因为父亲义龙死去，以14岁之龄继承美浓斋藤氏的家督。因为从父亲一代开始就持续被尾张国的织田信长侵攻、从祖父一代家臣的流失（森可成、坂井政尚、堀秀重、斋藤利治、明智光秀等）、比祖父和父亲凡庸、以及重用风评不佳的斋藤飞驒守等事，无法得到家