Kahl er utdannet jurist og er oberstløytnant av reserven i Bundeswehr. Han har jobbet i den tyske arbeidsgiverforeningen, som rådgiver ved Forbundskanslerens kontor og som rådgiver for CDU/CSUs fraksjon i Forbundsdagen. Der var han en nær medarbeider av Wolfgang Schäuble. Da Schäuble ble føderal innenriksminister i 2005 ble Kahl leder for ministerkontoret, og fra 2006 var han leder for ledelsesstaben i departementet. Han tok i 2008 juridisk doktorgrad om Carl Schmitts statsteori. I 2010 fulgte han Schäuble til Finansdepartementet, der han ble ekspedisjonssjef med ansvar for privatisering og statlig eierskap.