New York County er oppkalt til minne om hertugen av York, som senere ble Jakob II av England. Byen og delstaten New York er også oppkalt etter hertugen. Fylket ble opprettet i 1683 og dekket samme område som idag. I 1873 ble den vestlige delen av dagens Bronx County overført til New York County, og i 1895 fulgte resten av dagens Bronx County etter. I 1914 ble de delene av datidens New York County som var blitt annektert fra Westchester County, satt sammen til Bronx County, og New York County ble redusert til sine opprinnelige (og dagens) grenser.