Knudsen ble født og oppvokst i Sande kommune i Vestfold, og var sønn av rittmester og toller Knud Knudsen (ca. 1765-1837) og hustru Karen Anne Kirstine Knutsen født Schwencke. Faren ble utnevnt til overtollbetjent i Svelvik og han ble konfirmert i Hurum kirke i 1823.