Ulveseth har med egen kvartett utgitt tre plater. Gruppen består av Adam Nussbaum på trommer, Knut Riisnæs på saksofon, og Dag Arnesen på piano. Han er også med i Marit Sandvik band, gruppa SWAP, og North West Quartet.