1861 röstade blott 41,000 valmän på socialdemokratiska kandidater.