Anton von Schmerling ble livslangmedlem av det daværende Østerrikes overhus (Herrenhaus) fra 1867, og president samme sted i 1871. I årene 1873, 1875, 1879 og 1891 ledet han Østerrikes delegasjon i kompromissforhandlingene med Ungarn.