En 2012, il est l'organisateur de la campagne à Edimbourg Sud pour Yes Scotland, mais n'a rejoint le SNP qu'en 2014 après le référendum sur l'indépendance de l'Écosse en 2014. Il est choisi comme candidat pour la circonscription d'Edimbourg Est et obtient 23 188 voix et 49,2% des suffrages, avec une majorité de 9 106 voix et battant la députée travailliste sortante Sheila Gilmore. En , il est élu au Comité exécutif national du SNP. En , la commission parlementaire des normes annonce que M. Sheppard fait l'objet d'une enquête pour revenus non déclarés. Il est réprimandé dans la presse par le président Lord Bew, qui demande que des réformes soient apportées au processus de contrôle des revenus des députés.