אדיי היה בנו של מייג'ור ג'יימס פ. אדיי, נולד ב-1 בנובמבר 1819 בסבנאואקס שבקנט, אנגליה. הוא למד באקדמיה הצבאית המלכותית בווליץ', וב-1836 נכנס לרגימנט הארטילריה המלכותי. הוא קודם לדרגת קפטן ב-1846, ושירת במלחמת קרים כמפקד חטיבה וכעוזר השליש הראשי של הארטילריה (קיבל מעמד עמית, C.B, במסדר האמבט, קודם לדרגת מייג'ור ולאחר מכן לדרגת לויטננט קולונל). במהלך המרד ההודי הגדול בשנת 1857 הוא שירת בתפקיד מטה בעל סמכות מעטה.