Ulsaker var elev av Agathe Backer-Grøndahl (klaver), Johannes Haarklou (teori) i Kristiania og F. Draesecke (komposisjon) i Leipzig. I løpet av sin korte levetid rakk han å komponere flere klaverstykker og sanger, blant annet Han komponerte også musikk til Ibsens , arrangert for orkester av W. Sommerfelt.