Στην περιοχή κατά τους ρωμαϊκούς χρόνους υπήρχε ο οικισμός Caesaromagus. Στο Domesday Book το 1086 ο οικισμός αναφέρεται ως Celmeresfort. Το 1199, μετά την ανάθεση κατασκευής γέφυρας επί του ποταμού Καν δόθηκε στον οικισμό η βασιλική εντολή να διαθέτει αγοράς, σημαίνοντας έτσι την δημιουργία της σημερινής πόλης. Το 1218 η πόλη ορίστηκε έδρα της κομητείας του Έσσεξ. Το 1381, κατά τη διάρκεια της εξέγερσης των Χωρικών, ο βασιλιάς Ριχάρδος Β΄ κατέφυγε στο Τσέλμσφορντ, από όπου εξέδιδε διατάγματα για λίγες ημέρες.