Shackleton ble født 15. februar 1874 i Kilkea nær Athy i grevskapet Kildare i Irland – ca. 74 km fra Dublin. Hans far var Henry Shackleton, og hans mor var Henrietta Letitia Sophia Gavan. Farens familie var anglo-irsk, opprinnelig fra Yorkshire i England, mens morens familie var irsk fra grevskapene Cork og Kerry. Ernest var den nest eldste av ti søsken og den eldste av to sønner. Den andre, Frank, ble kjent som mistenkt for tyveriet av Irlands kronjuveler i 1907, men ble senere frikjent.