Borgen Ivøhus ble oppført på øyens sydøstlige del på slutten av 1100-tallet som en tårnlignende forsvarsbygning. Sunesen skal så senere ha bygget det om til en borg etter europeisk forbilde. Det som står igjen av den er en halvkjeller ti meter lang og syv meter bred med to pilarer. I den vestre muren finnes en portal med sandstenprofil, og gjennom denne leder en trapp med ni trinn ned til den kryptlignende kjelleren. I murverket ses fem vindusåpninger, og spor etter tre andre som er murt til. Langs med sidene løper en sittebenk i sten. Taket har hvelvinger i teglsten fra første halvdel av 1200-tallet.