Faits : A. A._, né en 1960, travaillait en qualité de maçon, machiniste-grutier, pour le compte de B._ à U._. Le 7 mars 2007, il a chuté d'une hauteur de trois mètres depuis un échafaudage et a été transféré au Service d'orthopédie et de traumatologie de l'appareil locomoteur de l'Hôpital C._, où le docteur D._ a diagnostiqué une fracture comminutive du calcanéum droit avec atteinte de l'articulation calcanéo-cuboïdienne, de l'articulation sous-astragalienne et de la grosse tubérosité, ainsi qu'une fracture du calcanéum gauche (rapport du 11 avril 2007). Le cas a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 7 décembre 2007, A._ a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) en raison des séquelles dues à son accident du 7 mars 2007. Dans un rapport du 21 décembre 2007, le docteur E._, chirurgien qui a assuré le suivi postopératoire, a constaté la persistance de douleurs au niveau des calcanea, plus à droite qu'à gauche, nécessitant le port de chaussures avec des semelles adaptées. A._ a séjourné du 3 janvier au 19 février 2008 à la Clinique F._ à V._, où il a été examiné par le docteur G._, spécialiste en médecine physique et réhabilitation et chirurgien orthopédiste, la doctoresse H._, médecin hospitalier, le docteur I._, chirurgien orthopédiste, le docteur J._, neurologue, la doctoresse K._, psychiatre, et la doctoresse L._, neuropsychologue. Dans leur rapport du 22 février 2008, ces médecins ont diagnostiqué une fracture du calcanéum gauche traitée conservativement, une fracture comminutive du calcanéum droit avec atteinte de l'articulation calcanéo-cuboïdienne, de l'articulation sous-talienne et une fracture de la grosse tubérosité, traitée par reconstruction et arthrodèse sous-talienne le 21 mars 2007 ainsi qu'une infection précoce du pied droit avec débridement de la plaie infectée et mise en place d'antibiotiques locaux puis confection d'un lambeau fascio-cutané de rotation. Ils ont également retenu, à titre de comorbidités, une dépendance à l'alcool, utilisation continue, actuellement abstinent en milieu protégé (F 10.21), une discrète polyneuropathie sensitivomotrice axonomyélinique, un discret fléchissement des capacités mnésiques et exécutives ainsi qu'une ostéopénie. Ils ont considéré que la situation médicale n'était pas stabilisée mais qu'il fallait d'ores et déjà tenir compte de limitations fonctionnelles excluant la marche en terrain inégal ou en pente, les montées/descentes fréquentes d'escaliers ou d'échelles, le maintien prolongé de la position debout et les accroupissements. Dans un rapport du 21 février 2008, le docteur E._ a constaté que l'état de santé de l'assuré était stationnaire. Une activité sur les chantiers n'était plus exigible mais il subsistait une capacité de travail entière pour un travail à la chaîne en position assise ou de magasinier "plutôt assis". Le 8 avril 2008, ce médecin a attesté un suivi de l'assuré pour des problèmes d'alcool, de tabagisme et de dépression réactive. Il a admis une possible reprise du travail à 50 % dans une activité adaptée dès le 1er avril 2008. Il a aussi mentionné qu'il était possible que l'assuré ne récupère pas complètement au niveau de la fracture du calcanéum et qu'il risquait d'avoir des douleurs chroniques. Le docteur M._, chirurgien orthopédiste et médecin d'arrondissement de la CNA, a constaté que la reprise de l'activité antérieure n'était pas envisageable mais qu'il subsistait une pleine capacité de travail dans une activité ne nécessitant pas de ports de charges de plus de 10 kg, la station debout prolongée, les longs trajets, la marche en terrain accidenté, ainsi que l'utilisation d'échelles et d'escaliers (rapport du 8 mai 2008). Le docteur E._ a retenu une évolution lentement favorable chez un assuré qui se plaignait de douleurs au niveau des deux calcanea, nécessitant la prise d'anti-inflammatoires et d'analgésiques. Il a admis l'existence d'un probable problème psychique et d'un alcoolisme chronique (rapport du 9 septembre 2008). Dans un rapport du 2 octobre 2008, le docteur N._, médecin associé au Service d'antalgie de l'Hôpital C._, a constaté des douleurs aux deux calcanea à caractère clairement mécanique rendant tout geste d'antalgie interventionnelle inutile. A._ a effectué un stage au COPAI de W._ du 10 novembre au 5 décembre 2008. Dans son rapport du 19 décembre 2008, le COPAI a retenu une capacité de travail résiduelle de 50 % avec un rendement dans la norme. Il a constaté que l'assuré manquait d'appuis fonctionnels sur ses membres inférieurs en raison de douleurs lancinantes et pesantes aux talons, qu'il manquait également d'endurance et de résistance à l'effort et enfin qu'il était dans un état général altéré par la consommation de tabac et d'alcool. Il a retenu un rendement entre 50 et 60 % et des limitations fonctionnelles liées à l'impossibilité de maintenir la position debout plus de quelques minutes et la position assise prolongée, ainsi que la nécessité de se lever pour éviter l'endormissement des membres inférieurs. Dans le cadre de ce stage, le docteur O._, médecin consultant du COPAI, a constaté que l'assuré était dans un état général moyen avec une hypotrophie musculaire nette des quatre membres entrant certainement dans le cadre d'un éthylotabagisme chronique. Il a aussi retenu l'existence de troubles vasculaires aux membres inférieurs à mettre sur le compte du tabac plutôt que sur celui de l'accident. Par contre, la claudication intermittente, réduisant le périmètre de marche à quelques dizaines de mètres, était liée aux talons accidentés. Concernant la capacité de travail, il ne l'a pas déterminée précisément. Il a considéré qu'à l'époque du stage, l'assuré n'avait pas l'endurance nécessaire pour travailler durant une journée entière (rapport du 9 décembre 2008). Dans un rapport du 14 janvier 2009 établi sur la base des avis du médecin d'arrondissement de la CNA et du rapport de la Clinique F._, le docteur P._, médecin au Service médical régional de l'assurance-invalidité (SMR), a admis une pleine capacité de travail dans une activité adaptée. Il a en outre retenu chez l'assuré un alcoolisme primaire pouvant avoir une certaine influence. Le 18 février 2009, le docteur M._ a réexaminé l'assuré. Il a admis l'existence de séquelles de l'accident relativement importantes. Il a constaté une comorbidité susceptible d'aggraver les douleurs, notamment leur composante neurogène, pouvant entraîner des troubles de l'équilibre et, plus généralement, limiter les capacités d'adaptation. Il a confirmé l'existence d'une capacité de travail à plein temps sans diminution de rendement. Dans son rapport du 3 juin 2009, le docteur N._ a constaté la persistance de douleurs majeures dans le cadre d'un status compliqué avec surinfection du côté opéré. Il a proposé la poursuite du traitement antalgique. Le docteur E._ a relevé des plaintes de l'assuré concernant d'importantes douleurs au niveau des deux talons. Il a estimé qu'une reprise du travail à 50 % était possible sur le plan orthopédique depuis juillet 2008 (rapport du 23 juillet 2009). Du 24 août au 20 novembre 2009, A._ a effectué un premier stage aux Etablissements publics pour l'intégration (EPI). Dans leur rapport du 9 décembre 2009, les conseillères en insertion ont conclu qu'en ne tenant compte que de l'atteinte physique, l'assuré pouvait occuper un poste dans le circuit économique normal à plein temps avec des rendements proches de la norme (80 % à l'époque du rapport). Elles ont relevé que l'assuré présentait des problématiques annexes, en particulier la consommation importante d'alcool et de tabac, un état dépressif réactif à son atteinte à la santé et des difficultés à gérer les douleurs. Pour ces dernières, ces problèmes étaient de nature à compromettre les chances de trouver un stage en entreprise, éventuellement un emploi, mais aussi à détériorer massivement l'état de santé général de l'assuré. Le stage a été prolongé jusqu'au 28 février 2010, d'abord à 100 % puis à 50 % à partir du 14 décembre 2009, date à laquelle la doctoresse Q._, généraliste et médecin traitant de l'assuré, a ordonné un arrêt de travail à 50 %. Les conclusions des EPI n'ont pas changé à l'issue de la prolongation du stage (rapport du 9 mars 2010). Le 1er décembre 2009, le docteur E._ a examiné l'assuré et a estimé que celui-ci ne pouvait pas avoir une activité professionnelle supérieure à 50 %. La doctoresse Q._ a retenu qu'une reprise du travail à 100 % n'était pas envisageable (certificat du 11 décembre 2009). Elle a confirmé son appréciation dans un rapport du 5 février 2010, où elle a maintenu une incapacité de travail de 50 % et a relevé une symptomatologie douloureuse permanente dans les deux calcanea répondant mal au traitement antalgique. Dans un avis médical du 24 février 2010, le docteur P._ a constaté que l'état de santé de l'assuré ne s'était pas péjoré et qu'il n'y avait pas d'éléments médicaux objectifs permettant de s'écarter de son appréciation du 14 janvier 2009. Par projet d'acceptation de rente du 12 mars 2010, l'office AI a informé l'assuré qu'il envisageait de lui allouer une rente entière pour la période du 1er mars au 31 juillet 2008 puis un quart de rente dès le 1 er août 2008, basé sur un taux d'invalidité de 40,55 %. Dans un rapport du 16 juin 2010, le docteur R._, chirurgien orthopédiste à l'Hôpital C._, a précisé que l'assuré présentait des douleurs localisées essentiellement au niveau de la face plantaire de l'arrière-pied suite à un vice de position de l'os résultant de la fracture et en raison d'une hypoplasie du coussin adipeux, relié fort probablement aux comorbidités (grand tabagisme et alcoolisme chronique). Il ne s'est pas prononcé sur la capacité de travail. A la demande de la CNA, le docteur S._, spécialiste en médecine interne et en cardiologie, a établi un rapport le 20 août 2010, dans lequel il a estimé qu'il était possible d'espérer une amélioration de l'état général suite à l'arrêt de la consommation d'alcool depuis 2 mois au moment de l'examen et à la diminution du tabagisme. Il a considéré qu'une remise au travail paraissait difficile car l'assuré s'était estimé incapable de travailler assis plus de deux heures et encore moins de travailler debout immobile ou accroupi. Dans un rapport du 1er octobre 2010, le docteur M._ a confirmé ses appréciations antérieures, estimant que, du point de vue orthopédique, l'assuré avait une pleine capacité de travail dans une activité adaptée à ses limitations fonctionnelles. Par décision du 7 décembre 2010, l'office AI a octroyé à l'assuré une rente entière pour la période du 1 er mars au 31 juillet 2008. Par une autre décision du même jour, il a alloué un quart de rente d'invalidité du 1 er août 2008 au 30 novembre 2009 puis à nouveau à partir du 1 er février 2010. Par décision du 16 mai 2011, confirmée sur opposition le 5 juillet 2011, la CNA a alloué à A._, dès le 1 er janvier 2011, une rente d'invalidité de 29 %, ainsi qu'une indemnité pour atteinte à l'intégrité fondée sur un taux de 25 %. B. A._ a recouru contre la décision de l'office AI devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. En procédure cantonale, il a produit deux rapports médicaux, le premier du 18 juillet 2013 de la doctoresse Q._, qui a attesté une consommation modérée d'alcool ainsi qu'une baisse d'intensité des douleurs grâce au traitement médicamenteux, tout en relevant que lorsque l'assuré marchait, les talalgies ne répondaient pratiquement à aucune thérapie. Le traitement médicamenteux entraînait toutefois des effets secondaires, principalement des étourdissements et des vertiges. Dans un second rapport du 11 août 2013, le docteur T._, spécialiste FMH en santé publique et médecine générale, a retenu que le syndrome douloureux ne laissait aucun répit à l'assuré et ne permettait aucune reprise du travail. Par jugement du 28 mars 2014, la juridiction cantonale a rejeté le recours. Par jugement du même jour, cette même juridiction a partiellement admis le recours contre la décision sur opposition de la CNA du 5 juillet 2011. Elle a porté le taux de la rente d'invalidité à 40 % et a confirmé la décision pour le surplus. C. A._ interjette un recours en matière de droit public contre le jugement du 28 mars 2014 en matière d'assurance-invalidité, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement au renvoi du dossier à la juridiction cantonale pour expertise. Subsidiairement, il demande l'octroi d'une rente entière dès le 1er avril 2008, sous déduction des indemnités journalières perçues. Il requiert également le bénéfice de l'assistance judiciaire. L'office AI a conclu au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. D. Par arrêt de ce jour, le Tribunal fédéral a joint les recours de l'assuré et de la CNA contre le jugement cantonal du 28 mars 2014 en matière d'assurance-accidents et les a admis (8C_408/2014 et 8C_429/2014).