Fylket ble grunnlagt i 1683 og er oppkalt etter hertugen av Richmond, som var bror til den herskende Karl II av England. Fylket ble integrert i storbyen New York i 1898 og har idag ingen selvstendig myndighet. Delstaten er imidlertid representert i fylket med blant annet et statsadvokatembede.