Eldred Pottinger var sonn av Thomas Pottinger fra Mountpottinger i County Down (nå i Nord-Irland) og hans hustru Charlotte Moore. Eldred, som var nevø ti sir Henry Pottinger, fikk sin utdannelse ved Ostindien-kompaniets kadettanstalt i Addiscombe.