Hayashin isä oli Kanazawan klaaniin kuulunut samurai. Hayashi valmistui Japanin keisarillisesta sotilasakatemiasta vuonna 1897 ja armeijan esikuntakoulusta vuonna 1903. Hän osallistui Venäjän–Japanin sodan aikana Port Arthurin piiritykseen. Myöhemmin hän oli muun muassa esikuntakoulun johtajana ja keisarillisen kaartindivisioonan komentajana. Hayashi oli Japanin edustajana Kansainliitossa vuosina 1923–1924. Vuosina 1930–1932 hän oli Koreaan sijoitettujen miehitysjoukkojen eli Joseonin armeijan komentajana. Vuoden 1931 Mukdenin välikohtauksen jälkeen Hayashi määräsi ilman Japanin hallituksen lupaa joukkonsa etenemään Kiinalle kuuluneeseen Mantšuriaan. Valtuuttamattoman hyökkäyksen Mantšuriaan aloitti samanaikaisesti Kwantungin armeijan komentaja Shigeru Honjō.