I 1246 bevilget Henrik III av England landområder mellom Strand og Themsen til en onkel av dronning Eleanor, Peter II av Savoie, som også fikk opprettet adelstittelen jarl av Richmond. Det huset som Peter II bygget her ble senere hjemmet til Edmund, 1. jarl av Lancaster og hans etterkommere, hertugene av Lancaster, bodde her gjennom hele det neste århundret.