文龟3年（1503年）、诞生，为安藤守利之子（生年也有永正5年（1508年）的说法）。起初仕官于土岐赖艺，美浓国为斋藤道三夺取后，转仕于斋藤道三。与稻叶良通（一铁）、氏家直元（卜全）并称为「西美浓三人众」。曾经应织田信长之邀，率军协防那古野城。弘治2年（1556年）、斋藤道三与其子斋藤义龙间，因继承权问题引发父子相争（长良川之战），守就隶属于义龙一方。义龙病故后继续侍奉其子斋藤龙兴，但是龙兴不听谏言，宠信斋藤飞驒守，而疏远美浓三人众等家中重臣。因此，永禄7年（1564年）、和女婿竹中重治（半兵