Dufresne var sønn av en rik jødisk kjøpmann. Han studerte jus og offentlig administrasjon (kameralvitenskap) i hjembyen og i Breslau inntil faren mistet hele formuen og ble ute av stand til å finansiere studiene. Dufresne begynte i 1852 som journalist og var lenge redaktør av ulike tidsskrifter, men måtte i 1875 slutte på grunn av tiltakende tunghørthet. Han beskjeftiget seg deretter nesten utelukkende med sjakk. Et påbegynt matematikkverk ble aldri ferdigstilt. Da han døde i 1893 var han blitt helt døv.