Cuando Takeda Shingen tomó el castillo Fukashi (hoy Castillo Matsumoto) en 1550, lo dejó a cargo de Baba.