5年（1562年）死去，由13岁的庆隆接任家督，由于年纪尚幼，因此远藤氏家臣协议其母与另一斋藤氏家臣主长井道利再婚，让他成为庆隆的后见人。其后，庆隆迎娶同样是斋藤氏家臣的主安藤守就之女为妻。永禄7年（1564年），庆隆最初与其弟庆胤同住于井之口（现岐阜县岐阜市）的长井邸，但是当竹中重治夺取稻叶山城后，两人便前往深濑乡（现岐阜县山县市）避难，木越城（现岐阜县郡上市大和町）主庆隆的堂兄远藤胤俊趁机夺取八幡城，并且企图暗杀庆隆兄弟，最终家臣粥川甚右卫门和饵取六右卫门成功营救庆隆，并且将其护送至苅安的鹤尾山城（