Ibrahim nacque nella città di Parga (attuale Grecia), a quei tempi terra della Repubblica di Venezia. Venne catturato durante il conflitto veneto-ottomano (1499-1502), quando i turchi attaccarono Paxo (cfr. Spandugnino, secondo Sanudo l'unico attacco a tale località avvenne il 20 marzo 1501). Venne venduto come schiavo, all'età di sei anni, per essere impiegato a lavorare nel futuro palazzo del sultano ottomano in costruzione a Manisa nell'ovest dell'Anatolia. Lì fece amicizia con Solimano (figlio del sultano), che aveva la sua stessa età, e pian piano scalò i gradi della scala gerarchica nel palazzo, divenendo falconiere del sultano. Le sue promozioni furono così veloci che ad un certo punto chiese al sultano di non promuoverlo troppo spesso per evitare gelosie negli altri dipendenti. Impressionato dalla sua modestia, Solimano gli giurò che non sarebbe mai stato messo a morte durante il suo regno. Dopo essere stato nominato "Gran Visir", continuò a ricevere molti regali dal sultano, ed il suo potere nell'Impero ottomano fu assoluto. Fra i molti titoli, era anche ufficiosamente noto come "il più bell'uomo dell'impero."