Knudsen flyttet til Holmestrand, der han var sanginstruktør. I 1854 flyttet han igjen, denne gangen til Kragerø, der han også var aktiv i byens musikkliv og som komponist og arrangør. I 1859 ble stillingen som organist i Ålesund utlyst og Knudsen fikk denne jobben. Han ble den første organist i Ålesund kirke. Det var senere samme år, etter at han hadde tiltrådt organistjobben i Ålesund, at han satte melodi til «Jeg er så glad hver julekveld». Teksten er skrevet av Marie Wexelsen.