Embedet har sin historie tilbake til 1626, da hvert av byens fem fylker hadde sin sheriff med både sivile og politimessige gjøremål. Da New York ble konsolidert i 1898 ble politioppgavene lagt til New York City Police Department, mens de sivile oppgavene ble lagt til New York City Sheriff’s Office.