Sākotnēji tas bija nīderlandiešu ciems, tika nodibināts 1658. gadā. Apkaime ir nosaukta Nīderlandes pilsētas Hārlemas vārdā. Centrālajā Hārlemā afroamerikāņu īpatsvars 2000. gadā sasniedza 77% no visiem iedzīvotājiem, citos Ņujorkas rajonos šis īpatsvars ir mazāks.