Hrad Trakai, dnešní Senieji Trakai (Staré Trakai), založil velkokníže Gediminas v roce 1321. Roku 1337 se připomíná nové Trakai, v dnešní poloze na poloostrově mezi jezery, 3 km severozápadně od prvního sídla. V novém Trakai byly zbudovány dva hrady, které na přelomu 14. a 15. století používal jako svou oblíbenou rezidenci velkokníže Vytautas. Vytautas také v roce 1397 pozval z Krymu na Trakai jako strážce svého sídla Karaimy, turkickojazyčné etnikum, vyznávající judaismus. Karaimové se od té doby stali součástí dějin města a Trakai v raném novověku jejich hlavním kulturním střediskem. V roce 1409 obdrželo Trakai městská práva podle magdeburského vzoru. V 15. století bylo město rušným střediskem obchodu, kde žili vedle sebe Litevci, Karaimové, Poláci, Tataři, Židé i Rusové. Pozvolný politický úpadek Trakai i Vilniusu přišel po úplném spojení Litvy s Polskem Lublinskou unií roku 1569. I hrad, který naposledy užíval jako letní sídlo král a velkokníže Zikmund I. († 1548), začal chátrat. Těžkou ránu městu a zvláště karaimské komunitě zasadilo Chmelnického povstání a posléze rusko-polské války v 50. a 60. letech 17. století. Dnes zbývá ve městě Karaimů pouze několik desítek. Po třetím dělení Polska roku 1795 připadlo Trakai Rusku, mezi první a druhou světovou válkou bylo součástí Polska a poté začleněno do SSSR v rámci Litevské SSR, dnes nezávislé Litvy. Roku 1991 byl na ochranu historického centra litevské státnosti vyhlášen "Trakaiský historický národní park" o rozloze 82 km².