Después de las Particiones de Polonia en 1795, la región fue anexionada por la Rusia Imperial y comenzó a repararse y reconstruirse. En 1915, durante la Primera Guerra Mundial, la zona fue capturada por Alemania. Después de la guerra, la ciudad pasó a ser parte de Lituania y fue ocupada por Polonia. Las obras en el Alto castillo estaban casi terminadas en 1939, cuando comenzó la Invasión de Polonia, y el territorio pronto fue anexado por la Unión Soviética y luego por la Alemania nazi. Durante la guerra, más de 5000 judíos de la región de Trakai fueron asesinados por los nazis. En 1944, durante la Operación Tempestad, la ciudad fue liberada por fuerzas conjuntas del Ejército polaco y partisanos soviéticos. Después de la Segunda Guerra Mundial fue de nuevo anexada por los soviéticos.