Richard Andvord ble født og vokste opp på Nordgard Stamstad i Lom i Gudbrandsdalen. Foreldrene var lensmann Paul Thorsteinsson Andvord (1795–1863) og Thora Sevaldsdatter Kjæstad (1806–1896). Slekten Andvord kom fra Nordgard Andvord, men Andvords farfar, Torstein Sylfestsson, flyttet til Stamstad i 1793 da han ble lensmann. Nordgard Stamstad var lensmannsgård frem til 1845.