再婚，让他成为庆隆的后见人。其后，庆隆迎娶同样是斋藤氏家臣的主安藤守就之女为妻。永禄7年（1564年），庆隆最初与其弟庆胤同住于井之口（现岐阜县岐阜市）的长井邸，但是当竹中重治夺取稻叶山城后，两人便前往深濑乡（现岐阜县山县市）避难，木越城（现岐阜县郡上市大和町）主庆隆的堂兄远藤胤俊趁机夺取八幡城，并且企图暗杀庆隆兄弟，最终家臣粥川甚右卫门和饵取六右卫门成功营救庆隆，并且将其护送至苅安的鹤尾山城（现郡上市美并町）。翌年，道利派出援军前来协助庆隆后，胤俊提出和解，并且将八幡城交还给庆隆。永禄10年（15