Martin Pedersen ble født på Vestfold sentralsykehus og vokste opp på Nøtterøy i Vestfold. Han var sønn av Emilie Johanne og Odd Pedersen (1908–1972), grosserer i et konservativt handelsstandsmiljø i Tønsberg. Pedersen gikk på dramalinja på Tønsberg gymnas og deretter på Eik lærerskole. Han opptrådte også som amatørskuespiller.