Faits : A. Le 20 avril 2011, X._ et un comparse ont braqué la banque A._, sans toutefois réussir à voler quoi que ce soit. Le 30 juin 2011, X._ et C._ ont braqué la banque B._. X._ a menacé de son arme, un pistolet Browning 9 mm munitionné mais non armé, deux employées de la banque. Ils ont emporté 519'910 fr., par la suite entièrement récupérés. B. Par jugement du 23 janvier 2013, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._ pour brigandage qualifié (art. 140 ch. 3 CP), tentative de brigandage, tentative de séquestration, violence ou menace contre les autorités et les fonctionnaires ainsi que délit à la loi sur les armes à une peine privative de liberté de sept ans, sous déduction de la détention provisoire subie et de la peine exécutée de manière anticipée. X._ a été condamné à payer une indemnité pour tort moral de 5'000 fr. à chacune des deux employées qu'il a menacées de son arme. C. Par arrêt du 27 janvier 2014, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a rejeté l'appel formé par X._ et confirmé, respectivement pris acte de l'entrée en vigueur du jugement du 23 janvier 2013. D. X._ forme un recours en matière pénale contre l'arrêt du 27 janvier 2014 auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il n'est pas condamné pour brigandage qualifié au sens de l'art. 140 ch. 3 CP et que sa peine est réduite à trois ans et six mois. Subsidiairement, il requiert l'annulation de l'arrêt et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.