Insterburg wurde 1256 vom Deutschen Orden erobert. 1336 erbaute man die Burg am steilen Ufer der Angerapp, unweit der Mündung von Pissa und Inster. In unmittelbarer Nähe liegt eine weitere Ordensburg, Burg Georgenburg. Die Georgenburg liegt am rechten Ufer der Inster und die Insterburg am linken Ufer der Angerapp. Die Burg war der Sitz eines Komturs. Alle elf Feldzüge im 14. Jahrhundert gegen die Litauer gingen von der Insterburg aus. 1376 wurde die Burg komplett durch diese dann zerstört, aber schon bald wieder errichtet. 1457 wurde die Burg von den Polen im Dreizehnjährigen Krieg zerstört. 1466 wurde die Siedlung am Fuß der Burg erstmals erwähnt. Im Herzogtum Preußen wird die Burg 1525 der Verwaltungssitz des Ortes, der am 10. Oktober 1583 die Stadtrechte verliehen bekam. Am 1. Januar 1679 fiel die Burg in die Hände der Schweden. Die schwedische Königin Maria Eleonore residierte 1642 in der Burg.