Martin werd in 1920 gewijd tot priester in Bordeaux en maakte carrière in het aartsbisdom Bordeaux, waar hij vicaris-generaal was in de periode 1937-1940. In 1940 werd hij tot bisschop van Le Puy-en-Velay gewijd en hij was nadien, van 1948 tot 1968, aartsbisschop van Rouen. In deze functie was hij tevens primaat van Normandië. Hij hield zich bezig met de heropbouw van de kathedraal van Rouen, die beschadigd was tijdens de Slag om Normandië in de Tweede Wereldoorlog.