Im Juniorenbereich nahm Ulmer für Österreich an den U18-Weltmeisterschaften 2005 und 2006, als er bester Vorbereiter des Turniers war, sowie den U20-Weltmeisterschaften 2007 und 2008 jeweils in der Division I teil.