大永3年（1523年）に武蔵国での須賀合戦で父・景繁が戦死したと伝わり、この際に泰繁も負傷したが生存し、家督を相続して当主となったという記録がある。
父亲景繁在大永3年（1523年）于武藏国须贺的合战中战死，自身在此战中亦负伤，不过仍然生还，于是继承家督并成为当主（‘由良文书’。