Родился в Мекке. Происходил из племени бану Хузайль. Согласно исламскому преданию, Абдуллах ибн Масуд в молодости был пастухом, который работал на Укбу ибн Абу Муайта. Он одним из первых принял ислам и был участником собраний мусульман в доме аль-Аркама. В тот период мусульмане подвергались гонениям со стороны язычников, но Абдуллах ибн Масуд не побоялся этого. Он читал суру Ар-Рахман возле Каабы, за что был схвачен и подвергнут пыткам. Абдуллах мужественно перенёс все пытки и был вынужден эмигрировать в Эфиопию. Вернувшись из Эфиопии, он вместе с пророком Мухаммедом совершил переселение в Медину.