Løberg har også skrevet flere dramatiske tekster, og var i en periode involvert i Grenland friteater som forfatter og utøver. Han virker også som musiker innenfor det eksperimentelle støymusikk-miljøet, og spiller blant annet med Lasse Marhaug i droneprosjektet Two Limited.