Матеус је почео тренира фудбал у млађим категоријама Херцогенаураха, на позицији везног играча. Своју професионалну фудбалску каријеру је започео 1979. године у Борусији Менхенгладбах, где је остао до 1984. До тада је стекао репрезентативно искуство наступима на Европском првенству 1980. и Светском првенству 1982. у дресу репрезентације Западне Немачке.