Kvinge tjenestegjorde som pastor for Adventistkirkens menigheter i Stavanger og Sandnes i perioden 1997-2010. Før tjenestetiden i Rogaland var han pastor i Skien og Mosjøen. Kvinge ble valgt til unionsleder (øverste nasjonale leder) for Syvendedags Adventistkirken i Norge i mai 2010 for perioden 2010-2015. Han ble gjenvalgt til stillingen for perioden 2015-2020 ved generalforsamlingen i 2015, men trakk seg fra stillingen våren 2017.