Khalifa era el hijo de un general adoptado por el legendario Sundiata Keita, según su política de atraerse a los mandos del ejército, al igual que su predecesor el Mansa Ouati.