Пасля польска-літоўскіх баёў і падпісання пагаднення паміж міжваеннай Польскай Рэспублікай і Літвой у 1919 годзе Сярэя апынулася ў складзе Літвы. У часы Другой сусветнай вайны з чэрвеня 1941 да 1944 года мястэчка знаходзілася пад акупацыяй Трэцяга Рэйха.