Katō fue el segundo hijo de un samurái local vasallo de la rama " gosanke", Owari Tokugawa, que dominaba la provincia de Owari (actual prefectura de Aichi).