Kármán ble født i Budapest i Østerrike-Ungarn under navnet og studerte til ingeniør der frem til 1902. Han tok doktorgraden ved Universitetet i Göttingen i 1908 og underviste der i flere år. Men etter at han overvar en flyvning ble han så fascinert av flyvning at han begynte å forske på aerodynamikk. I 1912 ble han sjef for det aerodynamiske instituttet ved RWTH Aachen; han fortsatte i den stillingen frem til 1930, bare avbrutt av første verdenskrig, da han tjenestegjorde i den østerriksk-ungarske hæren, der han blant annet konstruerte en helikopterprototype.