Ибака је рођен у Бразавилу, Републици Конго. И отац и мајка су му били кошаркаши. Отац му је играо у Републици Конго и за конгоански национални тим, а мајка му је играла у Демократској Републици Конго. Почео је да игра кошарку као веома мали у клубу „Avenir du Rail“, користећи спорт као излаз после ране смрти мајке и очевог одласка у Други конгоански рат. Ибака је као тинејџер отишао у Шпанију и почео да игра за јуниорске тимове, а највише за КК Л'Хоспиталет са којим је освојио неколико турнира.