De første fortifikasjonene på området ble bygget i tre av storfyrsten av Storfyrstedømmet Litauen, Gediminas. Senere ble det første slottet i teglstein ferdigstilt i 1409 av storfyrst Vytautas den store. Den øverste etasjen ble gjenoppbygget i 1930 av den polske arkitekten Jan Borowski. Enkelte deler av det gamle slottet er blitt gjenoppbygget, på grunn av arkeologiske undersøkelser.