İbrahim Edhem nacque in Grecia, nel villaggio di Sakiz, sull'isola di Chio. Ancora giovane nel 1822 rimase orfano di entrambi i genitori morti durante il Massacro di Chio e venne catturato dai soldati ottomani. Venduto come schiavo al capitano Derya Husrev Pasha, comandante della flotta turca, e venne portato quindi a Costantinopoli per essere adottato quindi dal gran visir Husrev Pasha. Oltre ai propri figli, Hüsrev Pasha aveva accolto in casa sua molti bambini rimasti orfani e schiavi e li faceva ascendere ad importanti posizioni nella società turca dell'epoca.