Martyn startet karrieren i en alder av 17, med en stil inspirert av amerikanske bluesartister som Robert Johnson og Skip James, skotsk tradisjonsmusikk og Davey Grahams eklektiske folkemusikk. Han har fortalt at Graham forble en innflytelse og et forbilde for han gjennom hele karrieren. Ved hjelp av sin mentor, Hamish Imlach, begynte Martyn å gjøre seg bemerket i musikkmiljøet. Han flyttet etter hvert til London, hvor han frekventerte klubber som «Les Cousins» og «The Kingston Folk Barge», som også tiltrakk seg artister som Bert Jansch, Ralph McTell og Al Stewart. Island Records' grunnlegger Chris Blackwell, ble oppmerksom på Martyn og ga ham platekontrakt. Martyn ble da den første hvite soloartisten, som sluttet seg til Blackwells reggae-baserte plateselskap.