Knudsen var født på plassen Bakken som sønn av husmannen og bygdesangeren Knut Bakken. Knudsen gikk først i skredderlære, men flyttet til Christiania for å utvikle sitt musikalske talent. Han var særlig god til å spille fiolin. I hovedstaden ble Knudsen opptatt i militærmusikken, der han også lærte å spille andre instrumenter. Knudsen spilte blant annet under ledelse av den kjente fiolinisten Ole Bull. I Christiania hadde Knudsen også kontakt med kordirigenten Johan Diederich Behrens.