Harlem strekker seg fra East River i øst til Hudsonelven i vest. I nord møter Harlem nabolaget Washington Heights ved 155th Street, mens den sørlige avgrensningen er mer irregulær. Central Harlem begynner på 110th Street ved nordenden av Central Park, Spanish Harlem strekker seg på østsiden helt ned til 96th Street, mens nabolaget Morningside Heights ligger vest for Morningside Avenue og sør for 125th Street. Harlem har en interessant multikulturell historie. Det var først jøder og italienere som bosatte seg i Harlem. Senere i 20 tallet begynte afroamerikanere å bosette seg i området.