Ulners föräldrar var majoren vid örlogsflottan Carl Ulner och Gustafva Holst. Han blev tidigt faderlös då kutterbriggen Husaren, där hans far var fartygschef, under en storm i Kattegatt 1801 sjönk med man och allt. Han inskrevs som skeppsgosse vid örlogsflottan, gjorde under 1808 års krig som extra kadett sin första sjöexpedition, antogs följande år till kadett vid krigsakademien och utnämndes 1812 till sekundlöjtnant vid örlogsflottan. Tjänstgörande 1814 i den mot Norge utrustade blockad-eskadern, deltog han i blockaden av de norska hamnarna och blev prismästare för tre galeaser, som han införde till Strömstad. Vid landstigningen på Kragerø och stormningen av ett där uppfört batteri utmärkte han sig så, att han, endast arton år gammal, tillerkändes utmärkelsen För tapperhet till sjöss.