With var statssekretær for statsrådene Valgerd Svarstad Haugland og Laila Dåvøy i Barne- og familiedepartementet under Bondevik-regjeringene 1997–1999 og 2001–2003. Deretter var With kommunalråd og KrFs gruppeleder i Trondheim bystyre fra 2003 til 2010. With ledet der blant annet Byutviklingskomiteen. Han var også 2. nestleder i Kristelig Folkeparti i perioden 1999–2003.