Som ung spilte Kitarō først elektrisk gitar, og så lærte han seg å spille trommer og bass. Han var medlem av et band som spilte amerikansk rythm & blues-covers av blant annet Otis Redding og The Beatles. Senere flyttet han til Tokyo for å bli en del av musikkmiljøet der. Det var der han oppdaget synthesizeren. Hans første synthesizer var analog, og han husker at han "bare elsket den analoge lyden som den laget, sammenlignet med dagens digitale lyd". Tidlig på 1970-tallet skiftet han helt til keyboard og ble med i det japanske progressive rockbandet Far East Family Band som spilte inn fire album. Mens han var i Europa i 1975, møtte han det tyske elektronisk musikk-miljøet og det tidligere Tangerine Dream-medlemmet Klaus Schulze. Schulze produserte to album for bandet og ga Kitarō noen tips for å programmere synthesizere. I 1976 forlot Kitarō Far East Family Band og reiste gjennom Asia (Kina, Laos, Thailand, India).