Największy sukces w karierze Klemens Großimlinghaus osiągnął w 1963 roku, kiedy wspólnie z Lotharem Claesgesem, Karl-Heinzem Henrichsem i Ernstem Strengiem zdobył srebrny medal w drużynowym wyścigu na dochodzenie podczas torowych mistrzostw świata w Liège. Był to jedyny medal wywalczony przez Großimlinghausa na międzynarodowej imprezie tej rangi. Wielokrotnie zdobywał medale torowych mistrzostw kraju, w tym cztery złote. W 1967 roku zdobył także brązowy medal mistrzostw kraju w szosowym wyścigu ze startu wspólnego. Nigdy jednak nie wystąpił na igrzyskach olimpijskich. Startował także w wyścigach szosowych, ale bez większych sukcesów.