Gundersen kom til Norge i 16-årsalderen, i første omgang til Sarpsborg. Der gikk han i skomakerlære. I 1889 flyttet han til Kristiania.