Ulmer begann seine internationale Karriere als Nordischer Kombinierer und gewann bei der Nordischen Junioren-Skiweltmeisterschaft 2003 gemeinsam mit Christian Beetz, Florian Schillinger und Tino Edelmann die Goldmedaille im Teamwettbewerb.