Pierwszy sukces w karierze Georg Stoltze osiągnął w 1960 roku, kiedy zdobył złoty medal w wyścigu ze startu zatrzymanego amatorów podczas torowych mistrzostw świata w Lipsku. W zawodach tych wyprzedził bezpośrednio swego rodaka Siegfrieda Wustrowa oraz Holendra Henka Buisa. Na rozgrywanych rok później mistrzostwach świata w Zurychu Stoltze zajął trzecie miejsce, przegrywając tylko z Leendertem van der Meulenem z Holandii oraz Wustrowem. Stoltze wielokrotnie zdobywał medale torowych mistrzostw kraju, w tym trzy złote. Startował również w wyścigach szosowych, jednak bez większych sukcesów.