A pesar que el nombre se usa a veces para referirse a todo el sector norte de la isla de Manhattan, tradicionalmente Harlem está limitado por la calle 110 al sur, el río Hudson al oeste y la calle 155 en el límite con el Bronx (algunos señalan la calle 160 como límite) junto con el río Harlem al norte y el East River al este.