Heemskerk ble doctor juris i 1839, var siden advokat i Amsterdam. Han ble medlem av Generalstatenes andrekammer i 1859, og ble der snart det konservative partiets leder. Heemskerk var innenriksminister i Julius van Zuylen van Nijevelts regjering 1866-68 og statsminister og innenriksminister 1874-77 og 1883-88. I 1879-83 og fra 1888 var han medlem av statsrådet.