Han meldte seg inn i Høyre som 18-åring, og fra 2006 til 2008 var han formann i Bergens Unge Høyre. Etter studiene ble han ansatt i Høyres stortingssekretariat. Ved dannelsen av Erna Solbergs regjering i 2013 ble Holte politisk rådgiver for klima- og miljøminister Tine Sundtoft, senere for Vidar Helgesen. I desember 2015 var han en del av Norges delegasjon til FNs klimatoppmøte i Paris. Han har også vært konstituert statssekretær i både Klima- og miljødepartementet og Samferdselsdepartementet. Fra 2017 til regjeringsskiftet i 2021 var han statssekretær for europaminister Marit Berger Røsland, deretter for utviklingsminister Nikolai Astrup og utenriksminister Ine Eriksen Søreide i Utenriksdepartementet.