Som Felix Johansen har Kulberg gitt ut seks soloalbum med egne tekster og musikk. I tillegg har han gitt ut barneplaten sammen med Veslemøy Solberg. Dette albumet inneholder sanger med tekster av kokebokforfatteren Hanna Winsnes' barnevers, og ble nominert til Spellemannprisen 2006 i klassen barneplate. Han har også gitt ut samleplaten i 2009, innspilt på en støl på Ål i Hallingdal, og EP-en fra samme år.