Faits :
A.
Le 20 avril 2011, X._ et un comparse ont braqué la banque A._, sans toutefois réussir à voler quoi que ce soit. Le 30 juin 2011, X._ et C._ ont braqué la banque B._. X._ a menacé de son arme, un pistolet Browning 9 mm munitionné mais non armé, deux employées de la banque. Ils ont emporté 519'910 fr., par la suite entièrement récupérés.
B.
Par jugement du 23 janvier 2013, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._ pour brigandage qualifié (<ref-law>), tentative de brigandage, tentative de séquestration, violence ou menace contre les autorités et les fonctionnaires ainsi que délit à la loi sur les armes à une peine privative de liberté de sept ans, sous déduction de la détention provisoire subie et de la peine exécutée de manière anticipée. X._ a été condamné à payer une indemnité pour tort moral de 5'000 fr. à chacune des deux employées qu'il a menacées de son arme.
C.
Par arrêt du 27 janvier 2014, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a rejeté l'appel formé par X._ et confirmé, respectivement pris acte de l'entrée en vigueur du jugement du 23 janvier 2013.
D.
X._ forme un recours en matière pénale contre l'arrêt du 27 janvier 2014 auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il n'est pas condamné pour brigandage qualifié au sens de l'<ref-law> et que sa peine est réduite à trois ans et six mois. Subsidiairement, il requiert l'annulation de l'arrêt et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant estime que le braquage commis le 30 juin 2011 dans les locaux de la banque B._ doit être qualifié de brigandage au sens de l'<ref-law> et non au sens de l'<ref-law>, comme l'autorité précédente l'a retenu.
1.1. Aux termes de l'<ref-law>, celui qui aura commis un vol en usant de violence à l'égard d'une personne, en la menaçant d'un danger imminent pour la vie ou l'intégrité corporelle ou en la mettant hors d'état de résister sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire de 180 jours-amende au moins. Les ch. 2 à 4 de l'<ref-law> envisagent les formes qualifiées de brigandage. En vertu de l'<ref-law>, le brigandage sera puni d'une peine privative de liberté d'un an au moins, si son auteur s'est muni d'une arme à feu ou d'une autre arme dangereuse. L'<ref-law> prévoit une peine privative de liberté de deux ans au moins si l'auteur a commis le brigandage en qualité d'affilié à une bande formée pour commettre des brigandages ou des vols ou si de toute autre manière la façon d'agir dénote qu'il est particulièrement dangereux. Enfin, l'<ref-law> prévoit une peine privative de liberté de cinq ans au moins, si l'auteur a mis la victime en danger de mort, lui a fait subir une lésion corporelle grave ou l'a traitée avec cruauté.
La qualification de l'<ref-law> doit être retenue dès lors que l'auteur s'est muni d'une arme à feu, peu importe qu'il ait eu l'intention de s'en servir ou qu'il s'en soit servi (arrêt 6B_737/2009 du 28 janvier 2010 consid. 1.3.2).
La notion du caractère particulièrement dangereux, visée par l'<ref-law>, doit être interprétée restrictivement, dès lors que le brigandage implique, par définition, une agression contre la victime et donc une mise en danger plus ou moins grave. Il faut que l'illicéité de l'acte et la culpabilité présentent une gravité sensiblement accrue par rapport au cas normal. Cette gravité accrue se détermine en fonction des circonstances concrètes. Sont des critères déterminants notamment le professionnalisme de la préparation du brigandage, la façon particulièrement audacieuse, téméraire, perfide, astucieuse ou dépourvue de scrupules avec laquelle il a été commis et l'importance du butin escompté (<ref-ruling> consid. 1a; <ref-ruling> consid. 2d et e). Une mise en danger concrète de la victime suffit, sans qu'une lésion ne soit nécessaire. Le Tribunal fédéral a admis à plusieurs reprises que l'auteur qui ne se borne pas à porter sur lui une arme à feu, mais qui l'utilise en l'exhibant pour intimider autrui, agit de manière particulièrement dangereuse (<ref-ruling> consid. 2a p. 318; <ref-ruling> consid. 3b p. 146; <ref-ruling> consid. 4b p. 424 s.; arrêt 6B_988/2013 du 5 mai 2014 consid. 1.4.1). Une telle qualification doit ainsi en principe être retenue lorsqu'une arme chargée mais assurée ou non armée est dirigée par l'auteur vers la victime (ATF <ref-ruling> consid. 4c p. 425; arrêt 6B_737/2009 du 28 janvier 2010 consid. 1.3.2). La brutalité de l'auteur n'est en revanche pas indispensable (ATF <ref-ruling> consid. 2e p. 317). L'implication de plusieurs auteurs est également une circonstance à prendre en considération dans la qualification de l'<ref-law> (arrêt 6B_988/2013 du 5 mai 2014 consid. 1.4.1 et arrê ts cités).
1.2. Selon l'arrêt attaqué, le recourant et C._ se sont rendus à la banque B._ afin d'y commettre un brigandage. Les jours précédents, C._ avait effectué des repérages pour trouver une petite succursale proche d'une entrée d'autoroute. Il s'était procuré des cartes routières. Le recourant était venu spécifiquement de France ou d'Espagne pour effectuer le hold-up. Le jour du braquage, la voiture avait été munie de fausses plaques d'immatriculation, les comparses avaient modifié leur apparence pour ne pas être reconnus, le recourant cachant son visage au moyen d'une perruque, de lunettes de soleil et d'une casquette. Le recourant s'était de plus mis de la glue sur les doigts, quelque 30 minutes avant de passer à l'action, afin de masquer ses empreintes. Il s'était muni d'une arme réelle, chargée mais non armée. Son comparse avait un pistolet d'alarme. Les rôles de chacun avait été clairement établis. Le recourant devait effectuer le braquage et impressionner les employés pour se voir ouvrir le coffre, son comparse devait gérer le hall d'entrée et l'arrivée d'éventuels clients. Le recourant avait sur lui une note lui rappelant la marche à suivre. Au cours du braquage, il ne s'est pas montré brutal. Pour se faire ouvrir le coffre et mettre la main sur un butin d'un demi-million de francs, il a néanmoins menacé de son pistolet 9 mm, munitionné, les employées de banque, lesquelles ont été impressionnées par sa détermination et l'ont immédiatement perçu comme dangereux.
Que ce soit la préparation minutieuse du braquage, tant dans le choix de la cible que du matériel utilisé (perruque, colle sur les doigts, fausse plaque d'immatriculation), ou l'usage d'une arme chargée pour menacer les employées de la banque et arriver à ses fins, le comportement du recourant remplit incontestablement la qualification de l'<ref-law>. L'importance du butin - plus d'un demi-million de francs - et le fait d'accepter, consciemment (arrêt attaqué, p. 12), de traumatiser des personnes pour arriver à ses fins, appuient encore cette qualification.
1.3. Le recourant estime que les manoeuvres préparatoires et techniques entreprises ne sauraient être qualifiées de particulièrement élaborées. Une telle qualification n'est pas exigée par la jurisprudence précitée. Le recourant invoque qu'il n'aurait pas appliqué les "techniques d'intimidation" dont il avait la maîtrise, n'aurait pas proféré de menace de mort à l'encontre des victimes, que rien ne dénoterait non plus une volonté de passage à l'acte en cas de résistance éventuelle des victimes et qu'il n'y aurait pas eu de mouvement de charge. A nouveau, l'absence de tels éléments, au vu de la jurisprudence et des faits établis par l'autorité précédente, n'empêche pas le comportement du recourant d'être qualifié de particulièrement dangereux au sens de l'<ref-law>. Pour le surplus, dans la mesure où il invoque, sans démontrer l'arbitraire de leur omission, des faits ne ressortant pas de l'arrêt entrepris, sa démarche est irrecevable (cf. art. 105 al. 1 et 106 al. 2 LTF).
2.
Le recourant conteste la quotité de la peine privative de liberté de sept ans prononcée à son encontre.
2.1. Il reproche à l'autorité précédente de n'avoir pas retenu son repentir sincère, en violation de l'art. 48 let. d CP.
Aux termes de cette disposition, le juge atténue la peine si l'auteur a manifesté par des actes un repentir sincère, notamment s'il a réparé le dommage autant qu'on pouvait l'attendre de lui. Le repentir sincère n'est réalisé que si l'auteur a adopté un comportement particulier, désintéressé et méritoire, qui constitue la preuve concrète d'un repentir sincère. L'auteur doit avoir agi de son propre mouvement dans un esprit de repentir, dont il doit avoir fait la preuve en tentant, au prix de sacrifices, de réparer le tort qu'il a causé (<ref-ruling> consid. 1 et les références citées; arrêt 6B_622/2007 du 8 janvier 2008 consid. 3.2).
Le recourant a reconnu les faits relatifs au braquage de la banque B._. Il avait toutefois été pris en flagrant délit. Il a avoué avoir braqué la banque A._ peu avant. Il a cependant refusé de donner le nom de son comparse et le braquage avait échoué. Le recourant indique s'être excusé auprès des victimes et mettre vingt francs de côté par mois sur un compte pour réparer les torts causés. Les excuses invoquées n'ont rien de méritoire. Le montant mensuel de vingt francs ne correspond qu'à une partie du pécule réalisé par le recourant (cf. recours, p. 21). Ce montant est dérisoire. Les circonstances n'atteignent pas le niveau suffisant pour être qualifiées de méritoires et justifier une réduction de peine. L'autorité précédente pouvait sans violer le droit nier l'existence d'un repentir actif au sens de l'art. 48 let. d CP.
2.2. Le recourant dénonce une violation de l'<ref-law>.
Les règles générales régissant la fixation de la peine ont été rappelées dans les arrêts publiés aux <ref-ruling> et 134 IV 17. Il y est renvoyé.
Le recourant invoque que "certains aspects - qui auraient pu intervenir à décharge - de son vécu n'ont pu être appréciés par la Cour cantonale dans le cadre de la fixation de la peine". La décision attaquée aurait occulté l'histoire de vie, la trajectoire familiale et les raison qui fondent son parcours criminogène (recours, p. 16). Le recourant n'expose pas quel élément précis aurait été omis. Fondé sur une telle argumentation, le grief de violation de l'<ref-law> est irrecevable.
Le recourant affirme que l'autorité précédente, bien qu'ayant indiqué avoir pris en considération certains facteurs d'atténuation, n'en aurait en réalité pas tenu compte. Sans plus de motivation, un tel grief est également irrecevable (cf. <ref-law>).
Le recourant estime que la peine est marquée, au-delà de ce qui est admissible, de ses antécédents judiciaires et que l'écoulement du temps par rapport à ses antécédents n'aurait pas été pris en considération dans une juste mesure. Outre la présente condamnation, le recourant, âgé de 50 ans, a été condamné depuis ses 18 ans à 13 reprises à des peines totalisant 55 ans et 9 mois de privation de liberté. L'autorité précédente devait tenir compte de tels antécédents. Rien, et notamment pas l'argumentation du recourant, ne démontre qu'elle leur aurait donné un poids excessif.
Le grief de violation de l'<ref-law>, dans la mesure de sa recevabilité, est infondé.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 14 novembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Cherpillod