Som parlamentsledamot var Smith skuggminister för Wales i Ed Milibands skuggregering från 2012 till 2015 och skuggarbets- och pensionsminister i Jeremy Corbyn skuggregering 2015 till 2016. Smith var en av många som lämnade skuggregeringen i juni 2016 i protest mot Corbyns ledarskap och framför allt hans hantering av folkomröstningen om brexit. Efter att partigruppen hade genomfört en misstroendeomröstning mot Corbyn var Smith motkandidat mot Corbyn som partiledare. En medlemsomröstning i augusti-september 2016 resulterade i att Corbyn omvaldes med 61,8 procent av rösterna, mot 38,2 procent för Smith.