Borgen nevnes første gang i forbindelse med at kong Kristoffer, i stridigheter med Jakob Erlandsen, inntok (huset ved elvemunningen). Borgen ble ødelagt, men ble senere bygget opp igjen, hvor den skiftet form fra det som egentlig var et biskoppelig palass til en borg. Den sto ferdig i 1286, og teglstensborgen stammer formentlig fra denne andre byggefase.