Pottinger ble født i Mount Pottinger som på den tiden var et landbruksområde utenfor Belfast i Irland. Han var sønn av Eldred Curwen Pottinger og Anne Gordon. Han studerte ved Belfast Royal Academy.