Jakob Sverdrup etterfulgte sin far da han ble innvalgt til Stortinget fra Nordre Bergenhus amt i 1877, men på grunn av sykdom kunne han ikke møte før i 1878. I 1883–84 var han leder av kirkekomitéen.