Su padre, Sajiro Inoki, un hombre de negocios y político, murió cuando Kanji sólo tenía cinco años.