สมาคมฟุตบอลออสเตรียก่อตั้งในวันที่ 18 มีนาคม ค.ศ. 1904 ในจักรวรรดิออสเตรีย-ฮังการี ส่วนประวัติในระดับสากลของออสเตรีย เริ่มต้นขึ้นในทศวรรษที่ 30 เมื่อได้รับการขนานนามให้เป็น "ทีมมหัศจรรย์" จากรูปแบบการเล่นที่สวยงามและมีประสิทธิภาพ และมีสถิติไม่แพ้ใครติดต่อกันถึง 14 นัด ในช่วง ค.ศ. 1931–32 และเข้าร่วมฟุตบอลโลก 1934 โดยถูกจัดให้เป็นทีมหนึ่งที่มีโอกาสคว้าแชมป์ไปครอง แต่ในรอบรองชนะเลิศออสเตรียแพ้ต่ออิตาลี ซึ่งต่อมาอิตาลีก็ได้แชมป์ไปในท้ายที่สุด