Ved valget i 1961 tapte han mandatet til Senterpartiet. Dette ble sett i sammenheng med at det nye partiet Sosialistisk Folkeparti ved dette valget stilte liste i fem fylker. Hedmark var ikke ett av disse, men mange oppfattet det som om Løvliens mandat forsvant i «dragsuget» etter SF uansett. Dette skapte nok en del bitterhet mot det nye partiet og dets fremste politiker, Finn Gustavsen.