Milde har vært medlem av administrasjonsutvalget og fylkesutvalget i Østfold. Han har hatt ulike verv i Halden Høyre og Østfold Høyre sia 1999. Blant annet var han varaordfører i Halden fra 2003 til 2007, ordførerkandidat i 2003 og fylkestingsrepresentant 2007–2013. Fra 2008 til 2014 var han 2. nestleder i Østfold Høyre.