Da Høyre ble organisert som landsparti høsten 1884, var Selmer ønsket som formann i sentralstyret av de mest konservative. Han sa seg villig, men et overveldende flertall på landsmøtet valgte Emil Stang, som godtok den nye parlamentariske skikken.