Christian Frederik Hansen kom fra enkle kår; faren Matthias Hansen var skomaker og lærhandler, moren hadde vært ansatt ved hoffet hvor hun hadde tilsyn med prins Christian, den senere Christian VII. Christian Frederik var yngste sønn og familien hadde ikke råd til å koste på han noe særlig utdannelse, han ble derfor satt i handelslære. Han hadde imidlertid mer interesse for tegning og kom etter en tid i murerlære og på Kunstakademiet. Han vant sølvmedaljer i 1772 og 1774 og den store gullmedalje i 1779.