Han fikk sin utdannelse i Wrington i North Somerset og Ealing i London, og i 1826 innrullerte han seg 17 år gammel i militærtjeneste for Det britiske ostindiske kompani. Som kadett dro han i 1827 til Bombay i India. Han seilte seile via Kappstaden på det samme skipet som guvernøren, diplomaten og orientalisten John Malcolm (1769–1833) var på, og hans innflytelse var åpenbar i Rawlinsons senere karriere. I India studerte han orientalske språk, særlig indiske og persisk, og utmerket seg foran andre i såpass grad at han i løpet av et år ble benyttet som tolk. Før han var nitten år hadde han utmerket seg til å bli intendant for 1. Bombay grenader hvor tjenestegjorde i fem år.