Det var musikalske gener i Pedersens slekt, og det ble fortalt at hans bestefar hadde spilt for sultanen i Konstantinopel. I ung alder lærte Elihu Pedersen seg å spille fiolin, og han kunne gjerne akkompagnere seg selv på fiolin når han sang. Hans far Karl Pedersen var blant stifteren Johan Oscar Smiths første medarbeidere under etableringen av trossamfunnet som i dag heter Brunstad Christian Church, på folkemunne ofte kalt «Smiths venner». Den unge Elihu ble også trukket inn i misjonsarbeidet. Hans musikalske evner og karismatiske utstråling trakk folk til møtene, og han besøkte mange steder i Norge, ofte sammen med Elias Aslaksen, Sigurd Bratlie og Aksel J. Smith.