John ble gitt området av sin onkel, kong Edvard I, og han bosatte seg der og deltok i engelsk politikk og krigføring. Han tjenestegjorde for England under tre monarker, først sin onkel Edvazrd I, og siden Edvard II og Edvard III. Byen Richmond vokste opp rundt det kongelige palasset som ble ofte benyttet av de kongelige, men nå er det bare ruiner igjen av det.