Det sies at byen ble grunnlagt av en dansk fisker ved navn Grim på 800-tallet. På 1100-tallet utviklet byen seg til et handlesenter og en fiskerihavn. Den var nummer 12 i rekken av skattebetalere til kongen, og fikk sitt grunnleggingsbrev av Johan av England i 1201. Byen har aldri hatt bymurer, den var for liten til det, og dessuten fikk den beskyttelse av det sumpete omlandet rundt byen. Men den hadde en vollgrav i middelalderen. Fra 1500-tallet kom byen inn i en nedgangstid som varte helt til 1800-tallet. I 1801 var folketallet på 1524 innbyggere, omtrentlig det samme antall som i middelalderen. Deretter vokste byen mye, særlig grunnet den store fiskeflåte, noe som varte fram til 1970-tallet, da veksten stoppet helt opp og byen gikk inn i en depresjon.