Knapp ble født i Newburyport, Massachusetts å Philip Coombs Knapp og Abigail Remmick; søsken inkludert Abigail Knapp. I 1825 var han innehaver av avis.