På klubbnivå spilte Ulleberg brorparten av sin karriere for Lyn. Han tilbrakte ungdomsårene i Mercantile og gikk til Lyn i 1929.