Rawlinson ble født i Chadlington i Oxfordshire i 1810 som den andre sønnen til hesteoppdretteren Abram Tyack Rawlinson og hans hustru Elizabeth Eudocia, datter av Henry Creswicke. Hans yngre bror var teologen og historikeren George Rawlinson (1812–1902).