Grahl-Madsen tok juridisk embetseksamen ved Universitetet i Oslo i 1947. Etter å ha arbeidet som dommerfullmektig 1947-1950 og advokatfullmektig 1951-1952 drev han fra 1953 til 1957 privat advokatpraksis. I årene 1948-1949 hadde han også oppdrag som Resettlement officer for FN-organisasjonen Den internasjonale flyktningorganisasjon i den britiske okkupasjonssonen i Tyskland.