Er erhielt seine Erziehung in Ealing in Middlesex. 1826 trat er in den Militärdienst der britischen Ostindien-Kompanie und ging 1827 als Kadett für die Kompanie nach Indien. Dort lernte er fließend persisch und wurde sechs Jahre später nach Persien gesandt, um die Truppen des Schahs auszubilden. Dort sah er die Felseninschriften in Keilschrift von Bisutun, die er innerhalb von zwei Jahren unter Einsatz seines Lebens abschrieb. Konflikte zwischen der britischen und der persischen Regierung führten zu seiner Abreise aus Persien. 1840 erhielt Rawlinson einen Posten in Kandahar und zeichnete sich durch Tapferkeit im anglo-afghanischen Krieg aus. Auf eigenen Wunsch erhielt er eine neue Stelle in Bagdad, wo er Zeit hatte, seinen Keilschriftstudien nachzugehen.