I dag finnes, i tillegg til Mariakirken, også ruiner fra middelalderen som vitner om Væs storhetstid. I nærheten av kirken, ligger ruinen etter et St. Gertrudkapell, navngitt etter Knut VIs dronning som skal ligge gravlagt i Væ. En egentlig befestning i middelalderen, har byen ikke hatt, men trolig har det vært byporter. På 1480-tallet nevnes byens borgermester og rådmenn, hvilket kan tale for at det også har eksisert et rådhus. Hvor dette har ligget vites ikke, men den folkelige tradisjonen henviser til ved "torvet", hvilket vil si den triangulære plassen nordøst for kirkegården.