Nellemann var medlem av prosesskommisjonen som ble nedsatt i 1868, og hvor han utarbeidet deler av prosessreformen. Han gikk inn i politikken i 1870, da han ble valgt inn i Landstinget fra København. I Landstinget var han medlem av det såkalte Mellempartiet. I 1875 ble han medlem av den danske regjeringen, som justsiminister og minister for Island i Estrups ministerium. Han beholdt disse stillingene i 21 år. Ved Estrups avgang i 1894 kunne han beholde porteføljene i den nye regjeringen under Reedtz-Thott. Han tok avskjed 13. juni 1896 og ble deretter utnevnt til direktør i Nationalbanken.