В головній команді країни дебютував 13 січня 1924 року проти збірної Німеччини. Відразу став гравцем основного складу. В дев'яти матчах 1924 року забив вісім голів. 7 квітня 1929 встановив новий рекорд результативності збірної Австрії — 19 забитих м'ячів. На чемпіонаті світу-34 Йохан Хорват і Антон Шалль по черзі грали на позиції лівого інсайда. Відкрив рахунок у матчі 1/4 фіналу проти збірної Угорщини. У матчі за 3-є місце забив свій останній, 29-й гол за збірну. Цей рекорд протримався 46 років. Тільки в 1980 році Гансу Кранклю вдалося перевершити це досягнення. На сьогодні більше голів за збірну вдалося провести і Антону Польстеру. Після чемпіонату світу Йоганн Хорват провів останній, 46-й матч за збірну (програш 1:3 Угорщині в Будапешті). Більше поєдинків на той час провів лише захисник Йозеф Блюм — 51 матч.