Knud Wessel Browns foreldre var Peder Wessel Brown og Christiana Augusta Parelius. Faren var sogneprest i Stjørdal, og moren var prestedatter. Han fikk tidlig mulighet til å lære og studere, og tok først en utdannelse i Trondheim. Faren oppfordret ham til å studere ved universitetet i København, hvor han ble immatrikulert i 1771.