Adye war der Sohn des Majors James Pattison Adye († 1831) und dessen Frau Jane (geborene Kelson). Er entstammte einer Offiziersfamilie. Sein Großvater Major Stephen Payne Adye diente als Offizier der Royal Artillery im Siebenjährigen Krieg. Sein Vater und seine Onkel Ralph Willett Adye († 1808) und Stephen Adye († 1838) dienten ebenfalls in diesem Regiment.