I år 1135 ble Konghelle angrepet og herjet av vendiske styrker. De brente kastellet og kirken og plyndret byen, og ifølge Snorre skal de ha røvet med seg et relikvieskrin med en flis av Kristi kors, gitt til kirken av kong Sigurd Jorsalfare. Nærmere et århundre etter vendernes plyndringer i Konghelle skrev Snorre at byen aldri kom seg helt etter angrepet. Dette er tilbakevist av seinere historikere. Omtrent samtidig ble Konghelle nevnt i engelske kilder som en norsk by.