继任家督，赖房也做为岛津氏人质被送往萨摩国。但是忠房突然病逝，天正13年（1585年）、由弟弟藤千代（长诚）代替他为人质，年仅12岁便继承家督之位。此后仍从属于岛津氏，配合对大友氏的作战。
豊臣时代.天正14年（1586年）、丰臣秀吉开始征讨九州，经家臣深水长智与秀吉的交涉而保全了领地。但是翌年，因为佐佐成政的失政，肥后国发生了国人一揆，秀吉命令岛津义弘、伊集院忠栋出兵协助成政平定一揆，但成政却误解他们是要来攻打自己，而请求赖房阻止义弘等人进入，此举也触怒了秀吉。经由深水长智赴大坂