Kesin memleketi bilinmemekle birlikte, çeşitli kaynaklarda Rum, İtalyan ya da Hırvat asıllı olduğu söylenmektedir. Babasının Parga'da bir denizci veya balıkçı olduğu tahmin edilmektedir. Küçük yaşta esir düşerek Manisa'ya getirilen İbrahim, burada Süleyman tarafından maiyetine alındı ve ölümüne kadar onun yanından ayrılmadı. Belgrad ve Rodos seferlerinde yer aldı. Süleyman'ın saltanatının başlamasıyla birlikte, hızla yükselerek önce has odabaşı oldu, daha sonra ise sadrazamlığa yükseldi. Bunların yanında Rumeli ile Anadolu Beylerbeyi ve Seraskerlik makamlarınında sahibi oldu.