Ibaka entstammt einer Basketballerfamilie. Seine Mutter Amadou Djonga spielte für die Nationalmannschaft der Demokratischen Republik Kongo, sein Vater Desire Ibaka für die der Republik Kongo. Serge ist das drittjüngste von 18 Kindern. Im Alter von acht Jahren verlor er seine Mutter. Als wenig später der Zweite Kongokrieg ausbrach, zog Ibaka mit seiner Familie in den Norden des Landes, nach Ouésso im Department Sangha, wo er mehrere Jahre in ärmlichen Verhältnissen, ohne Elektrizität und fließendes Wasser, aufwuchs. Nach der Rückkehr der Familie Ibaka nach Brazzaville im Jahre 2002 wurde sein Vater in der benachbarten Demokratischen Republik Kongo, wo er als Hafenarbeiter tätig war, inhaftiert. Bis zum Ende des Kongokrieges und der Freilassung seines Vaters im Jahre 2003 lebte Serge Ibaka bei seiner Großmutter Christine.