地区再度成为伊东氏的领地。真幸院是肥沃的谷仓地带，想要完全支配日向国，就必须夺取饭野地区。永禄9年（1566年），基于攻取饭野地区的军事需求，义祐于小林村三之山城（后来的小林城）筑城。得知此消息的岛津义久在筑城完成前出兵攻击，须木城也派出援军，城主米良重方于苦战后击退岛津。岛津军在三之山城米良重方与援军夹击下，阿多中务、末弘又左卫门尉、椎原助十郎等岛津将领阵亡。永禄11年（1568年），义祐开始饭野地区的攻略，并趁岛津义弘正攻略菱刈氏而不在饭野城的时机，伊东祐安于饭野、田原阵地区兴建桶平城，并派佐土原