Après sa réélection en 2010 et la formation du gouvernement de coalition, Penrose est ministre du Tourisme et du Patrimoine de 2010 à 2012, couvrant le Jubilé de diamant d'Élisabeth II et les Jeux olympiques d'été de 2012 et paralympiques de Londres. Au cours de son mandat, il rédige et met en œuvre la stratégie touristique du gouvernement. Il lance le processus pour transformer les propriétés d'English Heritage, telles que Stonehenge, Dover Castle, Tintagel et bien d'autres, en un deuxième National Trust.