Nació dentro de una familia - de bajo rango - samurai, su padre fue Shiraishi Mozaemon (Yoshifusa), su madre era del clan Yamashita, y tuvo varios hermanos.