Rangnick comenzó su carrera jugando en el VfB Stuttgart, pero no pudo pasar del VfB Stuttgart II, jugando en las divisiones inferiores.