Faits :
A.
A._, né en 1960, travaillait en qualité de maçon, machiniste-grutier, pour le compte de B._ à U._. Le 7 mars 2007, il a chuté d'une hauteur de trois mètres depuis un échafaudage et a été transféré au Service d'orthopédie et de traumatologie de l'appareil locomoteur de l'Hôpital C._, où le docteur D._ a diagnostiqué une fracture comminutive du calcanéum droit avec atteinte de l'articulation calcanéo-cuboïdienne, de l'articulation sous-astragalienne et de la grosse tubérosité, ainsi qu'une fracture du calcanéum gauche (rapport du 11 avril 2007). Le cas a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 7 décembre 2007, A._ a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) en raison des séquelles dues à son accident du 7 mars 2007.
Dans un rapport du 21 décembre 2007, le docteur E._, chirurgien qui a assuré le suivi postopératoire, a constaté la persistance de douleurs au niveau des calcanea, plus à droite qu'à gauche, nécessitant le port de chaussures avec des semelles adaptées.
A._ a séjourné du 3 janvier au 19 février 2008 à la Clinique F._ à V._, où il a été examiné par le docteur G._, spécialiste en médecine physique et réhabilitation et chirurgien orthopédiste, la doctoresse H._, médecin hospitalier, le docteur I._, chirurgien orthopédiste, le docteur J._, neurologue, la doctoresse K._, psychiatre, et la doctoresse L._, neuropsychologue. Dans leur rapport du 22 février 2008, ces médecins ont diagnostiqué une fracture du calcanéum gauche traitée conservativement, une fracture comminutive du calcanéum droit avec atteinte de l'articulation calcanéo-cuboïdienne, de l'articulation sous-talienne et une fracture de la grosse tubérosité, traitée par reconstruction et arthrodèse sous-talienne le 21 mars 2007 ainsi qu'une infection précoce du pied droit avec débridement de la plaie infectée et mise en place d'antibiotiques locaux puis confection d'un lambeau fascio-cutané de rotation. Ils ont également retenu, à titre de comorbidités, une dépendance à l'alcool, utilisation continue, actuellement abstinent en milieu protégé (F 10.21), une discrète polyneuropathie sensitivomotrice axonomyélinique, un discret fléchissement des capacités mnésiques et exécutives ainsi qu'une ostéopénie. Ils ont considéré que la situation médicale n'était pas stabilisée mais qu'il fallait d'ores et déjà tenir compte de limitations fonctionnelles excluant la marche en terrain inégal ou en pente, les montées/descentes fréquentes d'escaliers ou d'échelles, le maintien prolongé de la position debout et les accroupissements.
Dans un rapport du 21 février 2008, le docteur E._ a constaté que l'état de santé de l'assuré était stationnaire. Une activité sur les chantiers n'était plus exigible mais il subsistait une capacité de travail entière pour un travail à la chaîne en position assise ou de magasinier "plutôt assis". Le 8 avril 2008, ce médecin a attesté un suivi de l'assuré pour des problèmes d'alcool, de tabagisme et de dépression réactive. Il a admis une possible reprise du travail à 50 % dans une activité adaptée dès le 1er avril 2008. Il a aussi mentionné qu'il était possible que l'assuré ne récupère pas complètement au niveau de la fracture du calcanéum et qu'il risquait d'avoir des douleurs chroniques.
Le docteur M._, chirurgien orthopédiste et médecin d'arrondissement de la CNA, a constaté que la reprise de l'activité antérieure n'était pas envisageable mais qu'il subsistait une pleine capacité de travail dans une activité ne nécessitant pas de ports de charges de plus de 10 kg, la station debout prolongée, les longs trajets, la marche en terrain accidenté, ainsi que l'utilisation d'échelles et d'escaliers (rapport du 8 mai 2008).
Le docteur E._ a retenu une évolution lentement favorable chez un assuré qui se plaignait de douleurs au niveau des deux calcanea, nécessitant la prise d'anti-inflammatoires et d'analgésiques. Il a admis l'existence d'un probable problème psychique et d'un alcoolisme chronique (rapport du 9 septembre 2008).
Dans un rapport du 2 octobre 2008, le docteur N._, médecin associé au Service d'antalgie de l'Hôpital C._, a constaté des douleurs aux deux calcanea à caractère clairement mécanique rendant tout geste d'antalgie interventionnelle inutile.
A._ a effectué un stage au COPAI de W._ du 10 novembre au 5 décembre 2008. Dans son rapport du 19 décembre 2008, le COPAI a retenu une capacité de travail résiduelle de 50 % avec un rendement dans la norme. Il a constaté que l'assuré manquait d'appuis fonctionnels sur ses membres inférieurs en raison de douleurs lancinantes et pesantes aux talons, qu'il manquait également d'endurance et de résistance à l'effort et enfin qu'il était dans un état général altéré par la consommation de tabac et d'alcool. Il a retenu un rendement entre 50 et 60 % et des limitations fonctionnelles liées à l'impossibilité de maintenir la position debout plus de quelques minutes et la position assise prolongée, ainsi que la nécessité de se lever pour éviter l'endormissement des membres inférieurs. Dans le cadre de ce stage, le docteur O._, médecin consultant du COPAI, a constaté que l'assuré était dans un état général moyen avec une hypotrophie musculaire nette des quatre membres entrant certainement dans le cadre d'un éthylotabagisme chronique. Il a aussi retenu l'existence de troubles vasculaires aux membres inférieurs à mettre sur le compte du tabac plutôt que sur celui de l'accident. Par contre, la claudication intermittente, réduisant le périmètre de marche à quelques dizaines de mètres, était liée aux talons accidentés. Concernant la capacité de travail, il ne l'a pas déterminée précisément. Il a considéré qu'à l'époque du stage, l'assuré n'avait pas l'endurance nécessaire pour travailler durant une journée entière (rapport du 9 décembre 2008).
Dans un rapport du 14 janvier 2009 établi sur la base des avis du médecin d'arrondissement de la CNA et du rapport de la Clinique F._, le docteur P._, médecin au Service médical régional de l'assurance-invalidité (SMR), a admis une pleine capacité de travail dans une activité adaptée. Il a en outre retenu chez l'assuré un alcoolisme primaire pouvant avoir une certaine influence.
Le 18 février 2009, le docteur M._ a réexaminé l'assuré. Il a admis l'existence de séquelles de l'accident relativement importantes. Il a constaté une comorbidité susceptible d'aggraver les douleurs, notamment leur composante neurogène, pouvant entraîner des troubles de l'équilibre et, plus généralement, limiter les capacités d'adaptation. Il a confirmé l'existence d'une capacité de travail à plein temps sans diminution de rendement.
Dans son rapport du 3 juin 2009, le docteur N._ a constaté la persistance de douleurs majeures dans le cadre d'un status compliqué avec surinfection du côté opéré. Il a proposé la poursuite du traitement antalgique.
Le docteur E._ a relevé des plaintes de l'assuré concernant d'importantes douleurs au niveau des deux talons. Il a estimé qu'une reprise du travail à 50 % était possible sur le plan orthopédique depuis juillet 2008 (rapport du 23 juillet 2009).
Du 24 août au 20 novembre 2009, A._ a effectué un premier stage aux Etablissements publics pour l'intégration (EPI). Dans leur rapport du 9 décembre 2009, les conseillères en insertion ont conclu qu'en ne tenant compte que de l'atteinte physique, l'assuré pouvait occuper un poste dans le circuit économique normal à plein temps avec des rendements proches de la norme (80 % à l'époque du rapport). Elles ont relevé que l'assuré présentait des problématiques annexes, en particulier la consommation importante d'alcool et de tabac, un état dépressif réactif à son atteinte à la santé et des difficultés à gérer les douleurs. Pour ces dernières, ces problèmes étaient de nature à compromettre les chances de trouver un stage en entreprise, éventuellement un emploi, mais aussi à détériorer massivement l'état de santé général de l'assuré. Le stage a été prolongé jusqu'au 28 février 2010, d'abord à 100 % puis à 50 % à partir du 14 décembre 2009, date à laquelle la doctoresse Q._, généraliste et médecin traitant de l'assuré, a ordonné un arrêt de travail à 50 %. Les conclusions des EPI n'ont pas changé à l'issue de la prolongation du stage (rapport du 9 mars 2010).
Le 1er décembre 2009, le docteur E._ a examiné l'assuré et a estimé que celui-ci ne pouvait pas avoir une activité professionnelle supérieure à 50 %. La doctoresse Q._ a retenu qu'une reprise du travail à 100 % n'était pas envisageable (certificat du 11 décembre 2009). Elle a confirmé son appréciation dans un rapport du 5 février 2010, où elle a maintenu une incapacité de travail de 50 % et a relevé une symptomatologie douloureuse permanente dans les deux calcanea répondant mal au traitement antalgique.
Dans un avis médical du 24 février 2010, le docteur P._ a constaté que l'état de santé de l'assuré ne s'était pas péjoré et qu'il n'y avait pas d'éléments médicaux objectifs permettant de s'écarter de son appréciation du 14 janvier 2009.
Par projet d'acceptation de rente du 12 mars 2010, l'office AI a informé l'assuré qu'il envisageait de lui allouer une rente entière pour la période du 1er mars au 31 juillet 2008 puis un quart de rente dès le 1 er août 2008, basé sur un taux d'invalidité de 40,55 %.
Dans un rapport du 16 juin 2010, le docteur R._, chirurgien orthopédiste à l'Hôpital C._, a précisé que l'assuré présentait des douleurs localisées essentiellement au niveau de la face plantaire de l'arrière-pied suite à un vice de position de l'os résultant de la fracture et en raison d'une hypoplasie du coussin adipeux, relié fort probablement aux comorbidités (grand tabagisme et alcoolisme chronique). Il ne s'est pas prononcé sur la capacité de travail.
A la demande de la CNA, le docteur S._, spécialiste en médecine interne et en cardiologie, a établi un rapport le 20 août 2010, dans lequel il a estimé qu'il était possible d'espérer une amélioration de l'état général suite à l'arrêt de la consommation d'alcool depuis 2 mois au moment de l'examen et à la diminution du tabagisme. Il a considéré qu'une remise au travail paraissait difficile car l'assuré s'était estimé incapable de travailler assis plus de deux heures et encore moins de travailler debout immobile ou accroupi.
Dans un rapport du 1er octobre 2010, le docteur M._ a confirmé ses appréciations antérieures, estimant que, du point de vue orthopédique, l'assuré avait une pleine capacité de travail dans une activité adaptée à ses limitations fonctionnelles.
Par décision du 7 décembre 2010, l'office AI a octroyé à l'assuré une rente entière pour la période du 1 er mars au 31 juillet 2008. Par une autre décision du même jour, il a alloué un quart de rente d'invalidité du 1 er août 2008 au 30 novembre 2009 puis à nouveau à partir du 1 er février 2010.
Par décision du 16 mai 2011, confirmée sur opposition le 5 juillet 2011, la CNA a alloué à A._, dès le 1 er janvier 2011, une rente d'invalidité de 29 %, ainsi qu'une indemnité pour atteinte à l'intégrité fondée sur un taux de 25 %.
B.
A._ a recouru contre la décision de l'office AI devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. En procédure cantonale, il a produit deux rapports médicaux, le premier du 18 juillet 2013 de la doctoresse Q._, qui a attesté une consommation modérée d'alcool ainsi qu'une baisse d'intensité des douleurs grâce au traitement médicamenteux, tout en relevant que lorsque l'assuré marchait, les talalgies ne répondaient pratiquement à aucune thérapie. Le traitement médicamenteux entraînait toutefois des effets secondaires, principalement des étourdissements et des vertiges. Dans un second rapport du 11 août 2013, le docteur T._, spécialiste FMH en santé publique et médecine générale, a retenu que le syndrome douloureux ne laissait aucun répit à l'assuré et ne permettait aucune reprise du travail. Par jugement du 28 mars 2014, la juridiction cantonale a rejeté le recours.
Par jugement du même jour, cette même juridiction a partiellement admis le recours contre la décision sur opposition de la CNA du 5 juillet 2011. Elle a porté le taux de la rente d'invalidité à 40 % et a confirmé la décision pour le surplus.
C.
A._ interjette un recours en matière de droit public contre le jugement du 28 mars 2014 en matière d'assurance-invalidité, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement au renvoi du dossier à la juridiction cantonale pour expertise. Subsidiairement, il demande l'octroi d'une rente entière dès le 1er avril 2008, sous déduction des indemnités journalières perçues. Il requiert également le bénéfice de l'assistance judiciaire.
L'office AI a conclu au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
D.
Par arrêt de ce jour, le Tribunal fédéral a joint les recours de l'assuré et de la CNA contre le jugement cantonal du 28 mars 2014 en matière d'assurance-accidents et les a admis (8C_408/2014 et 8C_429/2014).

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération (cf. <ref-law>).
2.
Le litige porte sur la question du taux d'incapacité de travail du recourant, respectivement du taux d'invalidité qui en résulte.
3.
La juridiction cantonale a retenu que, dès le 1er mai 2008, le recourant avait une capacité de travail entière dans une activité adaptée. Pour ce faire, elle a accordé pleine valeur probante aux rapports médicaux du docteur M._, estimant que les avis médicaux contraires n'étaient pas de nature à mettre en doute cette appréciation. Elle a considéré que la décision de l'office AI était basée sur une instruction sans lacune et sur une évaluation fondée sur des éléments médicaux pertinents ayant également pleine valeur probante. Elle a ainsi admis qu'il n'existait chez l'assuré aucune pathologie psychiatrique entraînant une incapacité de travail, ni aucun signe d'atteinte psychique justifiant la mise en oeuvre d'une expertise psychiatrique. Pour la juridiction cantonale, l'alcoolodépendance était une affection primaire et la discrète polyneuropathie était liée à l'alcool. Pour déterminer le taux de la rente, la juridiction cantonale a retenu un revenu sans invalidité de 80'711 fr. 90 pour 2008, en se basant sur le montant de 78'245 fr., porté au compte individuel AVS du recourant pour 2006, auquel elle a ajouté l'indexation jusqu'en 2008, date de la naissance du droit à la rente. S'agissant du revenu d'invalide, elle s'est fondée sur les salaires ESS et a procédé à un abattement de 20 % pour tenir compte des atteintes organiques et des douleurs. Le taux d'incapacité de gain a été fixé à 40,55 %.
4.
4.1. Le recourant invoque une violation de ses droits procéduraux, en particulier de l'obligation pour les assureurs sociaux d'instruire complètement le cas (<ref-law>), de l'obligation de la juridiction cantonale d'administrer les preuves (art. 61 let. c LPGA), et du droit à un procès équitable (art. 29 Cst. et 6 par. 1 CEDH).
4.2. L'art. 6 par. 1 CEDH ne contient pas de règles concernant les moyens de preuve admissibles en procédure judiciaire et sur la manière de les apprécier. Ainsi, le refus d'un tribunal de donner suite à une demande d'expertise judiciaire déposée par une des parties, ne contrevient pas à l'art. 6 par. 1 CEDH, lorsque le procès peut encore être qualifié d'équitable.
Selon l'art. 6 par. 1 CEDH, le principe de l'égalité des armes fait partie des droits à un procès équitable. Ce principe n'est pas uniquement destiné à sauvegarder l'égalité formelle des parties dans la procédure judiciaire mais doit en plus garantir une égalité des chances pour les parties de pouvoir faire valoir leurs moyens devant le tribunal. Toutefois, l'art. 6 par. 1 CEDH n'oblige pas les pays signataires de la Convention à prévoir une complète égalité des armes entre les parties. La Convention exige cependant qu'un assuré ne soit pas mis dans une situation procédurale dans laquelle il n'a aucune chance raisonnable de soumettre son affaire au tribunal sans être clairement défavorisé par rapport aux autres parties à la procédure. En regard de ces règles, il est en principe admissible qu'un tribunal se fonde sur les preuves obtenues de manière correcte par l'assureur et renonce ainsi à sa propre procédure probatoire.
La jurisprudence (<ref-ruling> consid. 3b/ee p. 354) a posé le principe que le seul fait que les médecins de l'assurance sont employés de celle-ci ne permet pas de conclure à l'existence d'une prévention et d'un manque d'objectivité. Si un cas d'assurance est jugé sans rapport d'un médecin externe à l'assurance, l'appréciation des preuves doit être soumise à des exigences strictes. L'existence d'un doute même minime sur la fiabilité et la validité des constatations du médecin de l'assurance, doit conduire le tribunal à demander des éclaircissements (<ref-ruling> consid. 1d p. 162).
En application du principe de l'égalité des armes, l'assuré a le droit de présenter ses propres moyens de preuve pour mettre en doute la fiabilité et la validité des constatations du médecin de l'assurance. Il s'agit souvent de rapports émanant du médecin traitant ou d'un autre médecin mandaté par l'assuré. Ces avis n'ont pas valeur d'expertise et, d'expérience, en raison de la relation de confiance liant le patient à son médecin, celui-ci va plutôt pencher, en cas de doute, en faveur de son patient. Ces constats ne libèrent cependant pas le tribunal de procéder à une appréciation complète des preuves et de prendre en considération les rapports produits par l'assuré, afin de voir s'ils sont de nature à éveiller des doutes sur la fiabilité et la validité des constatations du médecin de l'assurance.
Il résulte de ce qui précède que les rapports des médecins employés de l'assurance sont à prendre en considération tant qu'il n'existe aucun doute, même minime, sur l'exactitude de leurs conclusions (<ref-ruling> consid. 4.7 p. 471). L'<ref-ruling> n'a pas modifié cette manière de voir.
Par ailleurs, la violation de la maxime inquisitoire (ou, autrement dit, du devoir d'administrer les preuves nécessaires) dans le sens invoqué par le recourant est une question qui n'a pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves (voir arrêt 8C_15/2009 consid. 3.2, in SVR 2010 IV n° 42 p. 132). On rappellera que le juge peut en effet renoncer à accomplir certains actes d'instruction, sans que cela n'entraîne une violation du devoir d'administrer les preuves nécessaires (art. 61 let. c LPGA) ou plus généralement une violation du droit d'être entendu, s'il est convaincu, en se fondant sur une appréciation consciencieuse des preuves (cf. <ref-ruling> consid. 3a p. 352), que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (sur l'appréciation anticipée des preuves en général: <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2 p. 428). Il s'agit par conséquent d'un grief qu'il convient d'examiner avec le fond du litige.
5.
5.1. Le recourant reproche à la juridiction cantonale d'avoir admis sa pleine capacité de travail en se fondant uniquement sur les avis du docteur M._, médecin d'arrondissement de la CNA, des médecins de la Clinique F._ et du médecin de l'assurance-invalidité, alors que les autres médecins reconnaissaient que sa capacité de travail n'était pas supérieure à 50 %. Il considère qu'elle n'a tenu compte que de l'aspect orthopédique de son cas sans prendre en considération les douleurs chroniques, la prise d'alcool secondaire et la lourde médication antalgique. Dans ces circonstances, la juridiction cantonale ne pouvait pas procéder par une appréciation anticipée des preuves.
5.2. Le docteur M._ a admis que l'activité antérieure de l'assuré n'était plus envisageable et a retenu que, sur le plan orthopédique, il subsistait une pleine capacité de travail dans une activité adaptée tenant compte des limitations fonctionnelles suivantes: pas de ports de charges de plus de 10 kg, pas de station debout prolongée, pas de longs trajets, pas de marche en terrain accidenté, pas d'utilisation d'escaliers ou d'échelles. Pour ce médecin, les séquelles de l'accident étaient relativement importantes et l'assuré présentait une comorbidité liée à l'alcoolisme et au tabagisme, susceptible d'aggraver les douleurs - notamment leur composante neurogène -, d'entraîner des troubles de l'équilibre et de limiter les capacités d'adaptation. Enfin, le docteur M._ a conclu qu'il n'était pas "équitable d'admettre une limitation du temps de travail au motif des douleurs chroniques plus ou moins explicables mais dont le ressenti et l'impact sur la capacité de travail varient forcément d'un individu à l'autre" (rapports du 18 février 2009 et 1er octobre 2010). Cette appréciation a été partagée par le docteur P._ qui n'a pas trouvé d'éléments objectifs pour s'écarter de cet avis (rapports des 14 janvier 2009 et 24 février 2010).
Dans le cadre du stage au COPAI, le docteur O._ a estimé que l'éthylo-tabagisme présenté par l'assuré et les séquelles de l'accident étaient des facteurs limitant la capacité de travail. Il ne s'est pas prononcé sur celle-ci mais a précisé que l'assuré n'avait pas l'endurance nécessaire pour tenir une journée entière au travail, ceci en raison des douleurs qui allaient augmentant au fil des heures (rapport du 9 décembre 2008). Le docteur E._, qui a assuré le suivi postopératoire, a constaté la persistance de douleurs au niveau des calcanea entraînant l'obligation de porter des chaussures avec des semelles adaptées (rapport du 21 décembre 2007). Après avoir admis que l'activité antérieure n'était plus exigible mais que la capacité de travail était entière dans une activité adaptée (rapport du 21 février 2008), il a constaté que l'évolution du cas était influencée par des circonstances sans rapport avec l'accident comme les problèmes d'alcool, de tabagisme et de dépression réactive (rapport du 8 avril 2008). Par la suite, il a confirmé l'existence de circonstances extérieures à l'accident ayant une influence sur l'évolution du cas et a admis que, sur le plan orthopédique, l'assuré avait une capacité de travail de 50 % depuis juillet 2008 (rapport du 23 juillet 2009). Dans son dernier rapport du 1 er décembre 2009, ce médecin a retenu que la capacité de travail ne dépassait pas 50 % en raison d'une situation assez précaire du point de vue social, médical et orthopédique (status post-fracture des deux calcanea). Dans un rapport du 3 juin 2009, le docteur N._ a diagnostiqué des douleurs persistantes aux deux talons après fracture du calcanéum bilatérale. Le docteur R._ a constaté chez l'assuré des douleurs localisées essentiellement au niveau de la face plantaire de l'arrière-pied, c'est-à-dire en regard des calcanea, dues à un vice de position de l'os suite à la fracture et également à une hypophasie du coussin adipeux, relié fort probablement aux comorbidités (grand tabagisme et alcoolisme chronique) présentées par l'assuré (rapport du 29 avril 2010). Le docteur S._ a estimé que le status vasculaire et neurologique, lié aux comorbidités, n'expliquait pas l'origine des douleurs invalidantes qui paraissaient être d'origine purement mécanique. Il a considéré qu'une remise au travail était difficile en se fondant sur l'appréciation de l'assuré qui s'estimait incapable de travailler assis plus de deux heures et encore moins de travailler debout immobile ou accroupi (rapport du 20 août 2010). La doctoresse Q._ a confirmé l'existence de douleurs permanentes aggravées en position verticale et surtout à la marche. Selon ce médecin, le traitement médicamenteux ne calmait que partiellement la symptomatologie douloureuse. Elle a estimé que la capacité de travail de l'assuré était plus proche de 20 % que de 50 % (rapport du 19 octobre 2010).
Compte tenu de l'ensemble de ces éléments, il faut considérer comme établi que l'accident et les comorbidités dont souffre l'assuré (alcoolisme et tabagisme) ont occasionné les douleurs à l'origine de son incapacité de travail. Les médecins qui ont examiné le recourant ont cependant apprécié différemment l'incidence des douleurs sur la capacité de travail. Le docteur M._, dont l'avis est partagé par le docteur P._, n'a pas tenu compte des douleurs pour des raisons peu claires et pas probantes. Il a considéré comme inéquitable de tenir compte des douleurs qui seraient, selon lui, plus ou moins explicables. Sans nier leur existence, il a invoqué le caractère subjectif de celles-ci et de leur impact. Il n'a pas précisé pourquoi, in casu, cet aspect l'amenait à ne pas les prendre en compte. Par ailleurs, il ressort des avis des docteurs E._, N._, Q._, O._ et S._ que les douleurs sont bien présentes et qu'elles ont une incidence sur la capacité de travail. Il ne paraît donc pas possible de se fonder sur la seule appréciation du docteur M._ pour admettre une pleine capacité de travail. Les avis de ces médecins, en plus de contenir certaines divergences, ne sont toutefois pas suffisamment étayés pour établir, au degré de la vraisemblance prépondérante, le taux d'incapacité de travail. Ils ne se prononcent pas sur les causes des douleurs et sur leur incidence sur la capacité de travail. Ils devaient également se déterminer sur le caractère primaire ou secondaire de l'alcoolisme. Il y a donc lieu de considérer que la juridiction précédente ne pouvait pas statuer sur la base des avis médicaux au dossier. Elle devait ordonner une expertise pour établir si une incapacité de travail existait et, le cas échéant, ses causes ainsi que le caractère primaire ou secondaire de l'alcoolisme si nécessaire.
Le recours est donc admis dans cette mesure et l'affaire renvoyée à la juridiction cantonale pour qu'elle ordonne une expertise, au besoin pluridisciplinaire.
6.
Concernant le calcul du taux d'invalidité, le recourant relève, à tort, que les revenus sans invalidité retenus par la juridiction cantonale sont différents dans la procédure d'assurance-accidents et dans celle d'assurance-invalidité. Cette différence apparente est justifiée par le fait que le droit à la rente est né en 2011 pour la première et en 2008 pour la seconde. Il s'agit d'une question d'indexation.
S'agissant du revenu d'invalide, il y aura lieu de le déterminer en fonction des conclusions auxquelles arrivera l'expertise à ordonner.
Le recours est admis.
7.
A._ obtient gain de cause et n'a donc pas de frais de justice à supporter (<ref-law>). Il peut, par ailleurs, prétendre une indemnité de dépens à la charge de l'intimé (art. 68 al. 1 et 2 LTF). Sa demande d'assistance judiciaire est donc devenue sans objet. L'intimé supportera en outre les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 28 mars 2014 est annulé et la cause lui est renvoyée pour qu'elle ordonne une expertise et statue à nouveau.
2.
Les frais de justice, arrêtés à 800 fr., sont mis à la charge de l'office AI.
3.
L'office AI versera à A._ une somme de 2'800 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 23 mars 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin