Podle jiné tradice pocházel rod z Francie. Rodina měla normanský původ a kolem roku 1160 byli její členové leníky anglických králů v Normandii. Wilhelm Le Fort se zúčastnil křížové výpravy anglického krále Richarda I. Lví srdce. Po návratu získal majetek v severní Itálii a v roce 1229 vedl delegaci rytířů ke dvoru císaře Fridricha II. Štaufského. Možná byl předchůdcem le Fort de Vallerin, který kolem roku 1237 opustil ostrov Kypr a vydal se do Říma, aby se účastnil sporů mezi papežem Řehořem IX. s císařem Friedrichem II. Císař mu věnoval majetek. Od té doby patřila rodina k německé císařské šlechtě. Tato legenda má odkazy na legendu o původu anglického šlechtického rodu Fortescue, který za svého předka považuje normanského rytíře Richarda Le Forta, o kterém se říká, že zachránil život Vilému Dobyvateli v bitvě u Hastingsu v roce 1066. V saském diplomu o povýšení Ludwiga Carla Le Forta z roku 1790 na stav císařského barona bylo uvedeno, že předkové pocházeli ze Skotska, odtud odešli do Piemontu a v roce 1565 do Ženevy. Ověřený původ rodiny je v Cuneu v Piemontu. Odtud uprchli do frankofonní Ženevy jako hugenoti.