Murray studerte ved University of Edinburgh og flere andre europeiske universiteter. Han ble mest kjent som medlem av den store britiske Challenger-ekspedisjonen 1872–76 og var leder av denne ekspedisjonens vitenskapelige undersøkelser etter Charles Wyville Thomsons bortgang. Han sto også som utgiver av (1882–96). Selv bidro han med den allmenne beretningen om ekspedisjonen samt med «Report on the Deep-Sea Deposits». Han gjennomførte dessuten en rekke hydrografiske og hydrobiologiske undersøkelser, fra 1897 spesielt i Skottland; resultatene fra disse ble publisert i (seks bind, avsluttet 1910). Han var Storbritannias ombud ved den internasjonale hydrografisk-biologiske kongressen i Stockholm 1899 og møtte der det norske forskermiljøet som ble med på Michael Sars-ekspedisjonen til Nord-Atlanteren i 1910 som Murray finansierte og var selv med på.