Barfoed var lenge ansett som et mulig lederemne for de konservative. Da Lene Espersen gikk av som leder tidlig i 2011, ønsket hun Barfoed som sin etterfølger. Høsten 2014 trådte Barfoed selv til side for partiets populære borgermester Søren Pape Poulsen. Barfoed ble ikke gjenvalgt til Folketinget i 2015 og trakk seg tilbake fra politikken. Han meldte seg ut av Det Konservative Folkeparti i 2023.