Matip hatte 14 Einsätze in der deutschen U-20-Nationalmannschaft, in denen er unter anderem bei der Junioren-WM 2005 in den Niederlanden im Achtelfinale gegen China den entscheidenden Treffer zum 3:2 erzielte. Darüber hinaus spielte Matip für die U-21-Nationalmannschaft bei der U-21-Europameisterschaft 2006 in Portugal, bei der die Mannschaft mit zwei Niederlagen und einem Sieg die Finalrunde nicht erreichte.