Als zweites von drei Kindern wuchs Alois „Blacky“ Schwarz am elterlichen Bauernhof in der Ortschaft Langzwettl in Zwettl an der Rodl in Oberösterreich, rund 20 km nördlich von Linz, auf. In einer Tischlerei im Heimatort erlernte er das Tischlerhandwerk. Bereits seit der Volksschulzeit begeisterte sich Alois Schwarz für den Schilanglauf. Sein sportliches Talent wurde entdeckt und gefördert. Er errang mehrfach Landes- und Staatsmeisterschaftstitel, nahm an drei Weltmeisterschaften und schließlich 1988 an den Olympischen Spielen in Calgary und 1992 an den Olympischen Spielen in Albertville teil. Mit Rang 18 über 30 km (klassisch) am 15. Februar 1988 auf den Loipen in Canmore bei Calgary stellte er eine bisher noch nie erreichte Platzierung eines ÖSV-Langläufers über diese Distanz bei Olympischen Spielen auf. Bei den Junioren-Weltmeisterschaften 1985 in Täsch gewann er Bronze mit der Staffel.