Hohler ble født i familieresidensen på St. George Hanover Square i London, og var sjette sønn av Henry Booth Hohler fra Fawkham Manor nær Gravesend og hans hustru Henrietta Wilhelmina Lawes. Hans endre bror var politikeren og sakføreren Gerald Hohler.