Faits : A. Le 13 avril 2010, la bijouterie A._, sise à Lausanne, a été braquée par trois individus dont l'un en tout cas était armé. Ils ont menacé le gérant et l'employée présents, les contraignant à se coucher à terre. Ils ont brisé des vitrines, ouvert les coffres et se sont emparés d'un butin de 580'000 francs. Ils ont ensuite rejoint un quatrième individu qui les attendait devant le commerce au volant d'une Audi S6 volée, munie de plaques volées séparément. Le quatrième individu a roulé à toute allure en direction d'Ouchy. Le véhicule a été retrouvé le jour même à l'avenue Edouard Rod à Lausanne. Le 9 mars 2011, la bijouterie B._, sise à Schaffhouse, a été braquée par quatre individus dont l'un en tout cas était armé. Ils ont menacé le gérant et les employés présents, les contraignant à se coucher à terre. Ils ont brisé des vitrines et se sont emparés d'un butin de 1'776'877 fr. 75. Ils ont ensuite rejoint un cinquième individu qui les attendait devant le commerce au volant d'une Porsche Cayenne volée, munie de plaques volées séparément. Le cinquième individu a roulé à grande vitesse. Le véhicule a été retrouvé le jour même à la Villenstrasse 4, à Schaffhouse. B. Par jugement du 25 octobre 2013, le Tribunal criminel de l'arrondissement de Lausanne a condamné X._ pour vol, brigandage qualifié, dommages à la propriété, usage abusif de plaques et violation grave des règles de la circulation routière à une peine privative de liberté de sept ans, sous déduction de la détention subie avant jugement. Elle a astreint X._ à verser à C._ une indemnité pour tort moral de 2'000 francs. C. Par jugement du 19 mars 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé contre ce jugement par X._. D. Ce dernier interjette un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 19 mars 2014. Contestant avoir participé aux deux braquages susmentionnés, il conclut à son acquittement de l'accusation de brigandage qualifié, à sa libération de toute peine de ce chef et à n'être pas reconnu débiteur de C._. Subsidiairement, il sollicite le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert l'assistance judiciaire.