Eielsen var født på gården Sundve på Vossestrand, og vokste opp i haugiansk religiøs tradisjon. Han utvandret til Amerika i 1839. Den 3. oktober 1843, ble han formelt ordinert som luthersk prest av Dr. Francis Arnold Hoffmann, en tysk luthersk pastor, og i 1846 grunnla han Evangelical Lutheran Church in America (Eielsen Synod).