Grahl-Madsen arbeidet fra 1967 til 1976 som høyskolelektor og førstelektor ved Norges Handelshøyskole. I årene 1976-1981 var han professor i folkerett ved Uppsala universitet. Fra 1980 og inntil sin død var han professor i rettsvitenskap (folkerett) ved Universitetet i Bergen. Grahl-Madsen arbeidet særlig med folkerettslige spørsmål og regnes som en pioner innen flyktningerett og internasjonal humanitær rett. I tillegg til spørsmål knyttet til flyktninger, internt fordrevne og politisk asyl, arbeidet han også med spørsmål knyttet til den rettslige status til nordiske autonome områder, som Åland, Færøyene og Grønland, samt med urfolks og minoriteters rettigheter.