Il débute en Coupe du monde en 1994 et remporte son premier podium individuel (deuxième place) le à Nové Město na Moravě. Jaak Mae a participé à cinq éditions des Jeux olympiques entre 1994 et 2010, terminant sur le podium en 2002 avec une médaille de bronze sur le 15 kilomètres classique et accompagnant ainsi son compatriote champion olympique Andrus Veerpalu sur le podiums en tant que premiers médaillés olympiques d'hiver pour l'Estonie. En 2003, il récidive sur cette même épreuve lors des Championnats du monde en terminant deuxième derrière Axel Teichmann.