Kimura Heitarō wuchs in der Präfektur Hiroshima auf und absolvierte eine Offiziersausbildung an der Heeresoffizierschule, die er 1908 abschloss. Im Anschluss wurde er Offizier der Kaiserlich Japanischen Armee und wurde nach dem Besuch der Heereshochschule 1916 Offizier der Artillerie. Er nahm nach seiner Beförderung zum Hauptmann im Juli 1918 zwischen 1918 und 1919 an der Sibirischen Intervention teil, in der er die Weiße Bewegung gegen die bolschewistische Rote Armee unterstützte. In den folgenden Jahren war er unter anderem als Militärattaché an der Botschaft in Deutschland tätig und wurde im August 1923 zum Major befördert. Im Oktober 1925 wurde er Ausbilder an der Heeresoffiziersschule und erhielt im März 1928 seine Beförderung zum Oberstleutnant. Nachdem er von Juli 1928 bis Juni 1929 zum Inspektorat für die Artillerie abgeordnet worden war, war er zwischen Juni und September 1929 zunächst Instrukteur an der Feldartillerieschule und wurde danach von September bis November 1929 zum Generalstab der Armee abgeordnet.