Jest byłym reprezentantem Niemiec U-20 oraz Niemiec U-21. Był uczestnikiem Mistrzostw Świata U-20 2005 i Mistrzostw Europy U-21 2006. W 2007 roku Matip ogłosił chęć gry w reprezentacji Kamerunu. Niedługo potem dostał do niej powołanie. Nie zdołał jednak zadebiutować w barwach tamtego kraju, gdyż jego akta nie dotarły na czas do siedziby FIFA.