Brooke syntyi Secroressa, Varanasin kaupungissa, joka kuului silloiseen Brittiläiseen Intiaan. Hän oli englantilaisen Thomas Brooken ja skotlantilaisen päärin William Stuartin aviottoman tyttären Anna Marian poika. Hän asui syntymäkaupungissaan 12-vuotiaaksi asti, jolloin Brooke lähetettiin Norwich Schooliin Lontooseen opiskelemaan. Brooke palasi Intiaan 1819, ja hänet värvättiin Englannin Itä-Intian kauppakomppanian armeijaan. Brooke loukkaantui vakavasti 1825 kesken ensimmäisen anglo–burmalaisen sodan ja lähti Englantiin toipumaan. Hän palasi 1830 sodan jo päätyttyä.