I 2001 ble Dyremose, 24 år gammel, valgt til medlem av Folketinget for Københavns amtskrets, etter å ha fått flere personstemmer enn den sittende folketingsmannen John Vinther. Hun ledet Folketingets utdannelsesutvalg 2006–2011. Ved omleggingen av valgordningen i 2007 ble Dyremose nominert og valgt i Københavns omegns storkrets. Hun ble ikke gjenvalgt ved folketingsvalget i 2011, da Det Konservative Folkeparti mistet mer enn halvparten av sine mandater. Fra nyttår 2014 og frem til folketingsvalget i juni 2015 møtte hun fast som vara for Benedikte Kiær, som ble borgermester i Helsingør kommune.