1931 wurde Karl Gall erstmals in die österreichische Nationalmannschaft einberufen und feierte sein Debüt am 12. April 1931 beim 2:1-Heimerfolg der Österreicher gegen die ČSR in Wien. Im Nationalteam hatte er in seinem Vereinskollegen Walter Nausch einen sehr starken Konkurrenten um seine Position, brachte es aber zwischen 1931 und 1936 insgesamt auf 11 Einsätze und gehörte auch zum Stamm des Wunderteams. Daneben absolvierte Karl Gall noch 20 Einsätze in anderen Auswahlmannschaften. Die Weltmeisterschaft von 1934 in Italien erlebte Gall nur als Zuschauer, erst 1936 feierte er in seinem letzten Auswahlspiel, wieder gegen die ČSR in Wien, ein kurzfristiges Comeback und den Abschied vom Nationalteam.