Han var sønn av Karl Ferdinand von Graefe. I unge år viste han interesse for matematikk, men senere dreiet interessen mer i retning av naturvitenskap, noe som i sin tur ledet ham inn på medisinske studier. Etter studier i Berlin, Wien, Praha, Paris, London, Dublin og Edinburgh med spesiell interesse for oftalmologi, åpnet han i 1850 egen praksis som øyelege i Berlin. Her grunnla han en privat institusjon som senere skulle danne modell for mange lignende klinikker i Tyskland og Sveits.