ન્યાયમૂર્તિ હાર્લન 1833 માં કેન્ટકીમાં જન્મ્યા હતા અને ગુલામ-માલિકી ધરાવતા પરિવારમાં ઉછર્યા હતા.