לאחר הכיבוש הנורמני של אנגליה הייתה צ'פסטו נקודה אסטרטגית. היה בה גשר בנקודה הקרובה ביותר לשפך הנהר ויי, והיא היוותה בסיס שממנו אפשר היה לקדם את השליטה הנורמנית לתוך דרום ויילס, ושלטה על הגישה להרפורד ועל מחוזות הספר של ויילס. טירת צ'פסטו הוקמה על ידי ויליאם פיצאוסברן (William FitzOsbern, 1st Earl of Hereford) ב-1067, והמגדל הגדול, המתואר לעיתים קרובות כמבצר האבן העתיק ביותר ששרד בבריטניה, הוא מתקופה זו או זמן קצר אחר-כך. לאתר שנבחר להקמת הטירה היו יתרונות הגנתיים בולטים: מיקומה על צוק תלול מצד אחד ועמק טבעי מצדה השני. בסמוך אף נוסד מנזר בנדיקטיני קטן, כיום כנסיית סנט מרי (St Mary's Church). המנזר היה מרכז לקהילה דתית קטנה, ששרידיה קבורים תחת מגרש החנייה הסמוך. נזירים, במקור ממנזר קורמיי (Abbaye Notre-Dame de Cormeilles) בנורמנדי, שהו במקום עד פירוק המנזרים באנגליה.