Da Karl kom til Norge og Nidaros i 1185, var kong Sverre blitt norsk enehersker, etter at han hadde felt sin motstander, kong Magnus Erlingsson, året før. Karl reiste sammen med presten Ingimund Torgeirsson og hans nevø Ogmund Torvardsson. Disse hadde forbindelser til Magnus og hans far Erling Skakke, og Ogmund ble raskt en del av hirden til Jon Kuvlung, en ny utfordrer til Sverre.