В 1807 году стал личным врачом герцога Алексиуса Ангальт-Бернбургского. В 1811 году в возрасте 24 лет Карлу-Фердинанду было присвоено звание ординарного профессора хирургии и глазных болезней. Он получает должность директора глазной клиники Берлинского университета. Карл Грефе, разделявший необходимость выделения учения о глазных болезнях в самостоятельную дисциплину, стал одним из основоположников немецкой офтальмологии и предложил ввести в 1811 году преподавание отдельного курса офтальмологии в Берлинском университете. В 1813 году, во время шестой коалиции европейских держав против Наполеоновской Франции, он был начальником военных госпиталей в звании генерал-штаб-доктора прусской армии, где среди прочего, оказывал офтальмологическую помощь воинам, заболевшим «египетским воспалением глаз» —трахомой. За заслуги и смелость при лечении воинов союзной армии, российский император Николай I пожаловал Карлу Грефе в 1826 году дворянское звание и наследственное право на приставку «фон». Таким образом, немецкий род Грефе стал российскими дворянами.