Nella mitologia della casata dei Fortescue le loro prime memorie sono datate alla Battaglia di Hastings (1066), dove Richard "le Fort" salvò la vita a Guglielmo il Conquistatore col suo scudo e per questo si guadagnò l'epiteto normanno di "Fort-Escu" ("forte scudo"). I suoi discendenti sulla stregua di questo episodio mitico coniarono il motto latino: "Forte scutum salus ducum" - "Uno scudo forte per la salvezza dei capi". I primi accenni della famiglia però sono documentati relativamente al possesso del maniero di Whympston nella parrocchia di Modbury nel South Devon, parte dei possedimenti garantiti a Ralph Fortescue attorno al 1140 dal vicino Priorato di Modbury. Lo storico locale sir William Pole (m. 1635) fu il primo a suggerire che questo possedimento fosse stato concesso invece nel 1209 da re Giovanni d'Inghilterra. Altre concessioni dal Priorato di Modbury vennero fatte alla famiglia nel XIII secolo.