Первое письменное упоминание о поселении "Сейрияй" относится к 1383 году. В 1383—1398 годы он вошёл в состав Тевтонского ордена. В 1511 году польский король Сигизмунд Старый подарил его литовскому гетману-князю Ежи Радзивиллу. В 1584 году в Серее был построен костёл. Кальвинисты же Радзивиллы, желавшие обращения своих подданных в протестантскую религию, ввели в этом костёле евангелически-реформатский обряд. Во время войны между Речью Посполитой и Россией в середине XVII века через Серею в 1655 году проходили войска царя Алексея Михайловича. В 1688 году городок стал частью приданого Людвики Каролины Радзивилл, дочери князя Богуслава Радзивилла. В 1691 он стал собственностью курфюрста Бранденбургского (а затем короля Пруссии) Фридриха I. В составе королевства Пруссия "Сейрияй" оставался в 1691—1793 и с 1795 по 1807 годы. В 1807—1815 годы он принадлежал Варшавскому герцогству, затем — в составе царской России. Во время военных кампаний 1812, 1914—1915 и 1941—1944 годов городок находился в зоне ведения боевых действий. Здесь также происходили бои во время польских восстаний в 1831 и 1863 годах.