Han var eldste sønn av James Edward Harris, 2. jarl av Malmesbury, og studerte ved Oriel College, Oxford. Harris brukte flere år på reising, og møtte mange kjente personer, bl.a. den senere Napoleon III av Frankrike.