Varnhagen lahir pada 1816, di kota Iperó, Brasil. Ia adalah putra dari pasangan Maria Flávia de Sá Magalhães dan Friedrich Ludwig Wilhelm Varnhagen, seorang teknisi militer kelahiran Jerman. Ia meraih pendidikan dasarnya di Rio de Janeiro. Pada tahun awalnya, ia dikirim ke Lisbon, di mana ia belajar di Colégio Militar, dan kelak, ia bertugas sebagai sukarelawan dalam Peperangan Liberal Portugis 1831-1834.