Agnes Wollebæk vokste opp i et embedsmannshjem hvor hun tidlig ble inspirert av morens pianospill og folkevisesang om kveldene. Deler av oppveksten tilbrakte hun i Belgia, hvor faren var sjømannsprest. Folkevisene skulle følge henne hele livet. Hun knyttet seg til landets første folkevisering i Kristiania, med Hulda Garborg i spissen.