Bibliotekets hovedbygning ligger langs Fifth Avenue sentralt i Midtown på Manhattan. Den sto ferdig i mai 1911, og regnes som et høydepunkt innen byggestilen kjent som Beaux-Arts.