Esmentat per primera vegada a les cròniques teutòniques de 1392. Quan Samogítia va ser lliurada a l'Orde Teutònic, van construir un petit castell de Koenigsburg i en aquest lloc, l'habitatge de 80 cavallers i 400 soldats. El castell va ser reforçat i ampliat després de la Batalla de Grunwald, des d'aleshores va ser propietat personal dels reis de Polònia fins al 1549, quan Segimon II August va viure amb la seva esposa, la reina-consort Bàrbara Radziwill (junt amb la ciutat circumdant). Després de la seva mort, la «casa de maó vermell» –que va donar el seu nom al poble dels voltants de Czerwony Dwór, la Raudondvaris moderna– va caure en desús i va ser venuda a Gintowt-Dziewałtowski, que ho va vendre novament a la poderosa família Radziwill poc després.