Byen ble grunnlagt på grunn fra gårdene Grim, som var delvis krongods, og Eg. Området ble kalt Grimsmoen og ble overdratt i 1643 og 1644. Det er i dag byens sentrum og kalles Kvadraturen etter den kvadratiske byplanen som ble utarbeidet etter renessanseidealer. Betegnelsen Sanden brukes også når det refereres til Grimsmoen.