Richard Francis Burtons mor, Martha, stammet fra en velstående familie, fra Richard Baker, en fra Hertfordshire. Joseph Netterville Burton, hans far, var generalløytnant i British Army. Hans farfar, Edward Burton, var av irsk-engelsk slekt og virket som prest i Westmorland for Church of Ireland. Burton hadde to søsken, Maria Katherine Elizabeth og Edward Joseph Netterville, født 1823 og 1824.