Ihre Schauspielkarriere begann sie 2010 mit einigen Theaterrollen. 2011 erhielt sie eine Hauptrolle als "Poppy" in der vierten Staffel von "Secret Diary of a Call Girl", durch die sie in Großbritannien Aufmerksamkeit erlangte. Des Weiteren konnte James sich eine Rolle in dem US-amerikanischen Fantasyfilm "Zorn der Titanen" sichern, der 2012 weltweit in die Kinos kam. Außerdem hatte sie die Rolle der "Lisa Temple" in "Fast Girls" inne. Im selben Jahr wurde sie für eine Gastrolle in der preisgekrönten Fernsehserie "Downton Abbey" engagiert. Darin war sie am Ende der dritten Staffel als "Rose MacClare" zu sehen. Mit Beginn der vierten Staffel stieg sie zur Hauptdarstellerin auf. Mit dem Ensemble der Serie wurde sie jeweils bei den Screen Actors Guild Awards 2015 und 2016 in der Kategorie "Bestes Schauspielensemble in einer Dramaserie" ausgezeichnet.