Faits :
A.
A._ a travaillé en qualité de manoeuvre pour le compte de l'entreprise B._ SA. A ce titre, il était affilié auprès de la Fondation collective LPP d'Elvia Vie, Société Suisse d'Assurances sur la Vie. Cet établissement a ultérieurement été repris par Allianz Suisse, Société d'Assurances sur la Vie (ci-après: la caisse de prévoyance).
Le 10 mai 2000, l'assuré a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Le 30 avril 2014, la Caisse de compensation du canton de Fribourg (ci-après: la caisse de compensation) a informé les tiers ayant fait des avances à l'assuré que celui-ci avait droit à des paiements rétroactifs de l'assurance-invalidité et les a invités à lui communiquer le cas échéant le montant dont ils demandaient le remboursement. Le 19 mai 2014, la caisse de prévoyance a fait valoir un montant de 32'246 fr. 90, portant sur la période du 1 er janvier 2008 au 30 juin 2014, pour laquelle elle avait versé une rente d'invalidité à l'assuré.
Le 26 juin 2014, l'office AI a octroyé une demi-rente de l'assurance-invalidité à A._ à compter du 1 er juillet 2014. Il lui a par la suite reconnu le droit à une demi-rente du 1 er janvier 2000 au 30 juin 2014; il a fixé le montant total de l'arriéré de rentes dû en faveur de l'assuré à 70'509 fr., sous déduction des rentes déjà versées du 1 er janvier 2000 au 31 mars 2001 (décision du 20 avril 2015). Selon un décompte auquel renvoie la décision, le montant à verser à titre de compensation en faveur de la caisse de prévoyance s'élevait à 29'101 fr. 60, sous déduction de l'impôt à la source par 2'910 fr.
B.
Par deux recours séparés, A._ a déféré la décision du 26 juin 2014, ainsi que la décision du 20 avril 2015 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. La juridiction cantonale a rejeté le recours contre la décision du 26 juin 2014 (jugement du 12 février 2016), tandis qu'elle a déclaré irrecevable le recours contre la décision du 20 avril 2015 (jugement du 18 mars 2016).
C.
A._ forme un recours en matière de droit public contre le jugement du 18 mars 2016 dont il demande l'annulation. Il conclut à ce que l'office AI, par l'intermédiaire de la caisse de compensation, soit condamné à lui verser la somme de 29'101 fr. 60, avec intérêts à 5 % l'an dès le 1er avril 2011. Son recours est par ailleurs assorti d'une demande d'assistance judiciaire.
L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer sur le recours.
A._ a déposé des observations sur la réponse.
D.
Par arrêt séparé de ce jour, dans la cause 9C_220/2016, le Tribunal fédéral a partiellement admis le recours formé par l'assuré contre le jugement de la Cour des assurances sociales du 12 février 2016 et renvoyé la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
1.1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.2. Au vu de l'issue du litige (consid. 5), la question de la qualification au sens de l'<ref-law> ("pièce nouvelle") du document du 15 mai 2009 produit par l'office AI à l'appui de sa réponse - dont le recourant affirme qu'il doit être écarté de la procédure - peut rester ouverte.
2.
La juridiction cantonale ayant déclaré irrecevable le recours qui lui était soumis, le recourant ne peut contester que ce prononcé (cf. <ref-ruling>). Il s'ensuit que les griefs et les conclusions du recourant portant sur la condamnation de l'office AI à lui verser la somme de 29'101 fr. 60 avec intérêts à 5 % l'an dès le 1er avril 2011 sont irrecevables. C'est le lieu de préciser que le présent litige peut être résolu sans attendre l'issue de la procédure relative à l'étendue du droit à la rente d'invalidité allouée à l'assuré (rente entière au lieu de la demi-rente accordée).
3.
3.1. Selon l'<ref-law>, le droit aux prestations est incessible; il ne peut être donné en gage. Toute cession ou mise en gage est nulle. Les prestations accordées rétroactivement par l'assureur social peuvent en revanche être cédées à l'employeur ou à une institution d'aide sociale publique ou privée dans la mesure où ceux-ci ont consenti des avances (let. a) ou à l'assureur qui a pris provisoirement à sa charge des prestations (let. b).
3.2. Les employeurs, les institutions de prévoyance professionnelle, les assurances-maladie, les organismes d'assistance publics ou privés ou les assurances en responsabilité civile ayant leur siège en Suisse qui, en vue de l'octroi d'une rente de l'assurance-invalidité, ont fait une avance peuvent exiger, en vertu de l'art. 85 bis al. 1, 1 ère phrase, RAI, qu'on leur verse l'arriéré de cette rente en compensation de leur avance et jusqu'à concurrence de celle-ci. Selon l'alinéa 2 de cette disposition, sont considérées comme une avance les prestations librement consenties, que l'assuré s'est engagé à rembourser, pour autant qu'il ait convenu par écrit que l'arriéré serait versé au tiers ayant effectué l'avance (let. a), ainsi que les prestations versées contractuellement ou légalement, pour autant que le droit au remboursement, en cas de paiement d'une rente, puisse être déduit sans équivoque du contrat ou de la loi (let. b).
Les avances librement consenties selon l'<ref-law> supposent le consentement écrit de la personne intéressée pour que le créancier puisse en exiger le remboursement. Dans l'éventualité de l'<ref-law>, le consentement n'est pas nécessaire; celui-ci est remplacé par l'exigence d'un droit au remboursement "sans équivoque". Pour que l'on puisse parler d'un droit non équivoque au remboursement à l'égard de l'AI, il faut que le droit direct au remboursement découle expressément d'une norme légale ou contractuelle (<ref-ruling> consid. 5.1.1 p. 388; <ref-ruling> consid. 6.1.2 p. 9; <ref-ruling> consid. 8.3 p. 21).
4.
4.1. La juridiction cantonale a décliné sa compétence pour trancher le litige en se référant notamment à un arrêt 9C_287/2014 du 16 juin 2014. Elle a considéré en substance que le bien-fondé et le montant de la créance en restitution de la caisse de prévoyance devaient être examinés dans une procédure opposant directement la caisse et la personne assurée, et non pas en matière d'assurance-invalidité dans laquelle l'office intimé n'avait pas à traiter de ce rapport juridique. Aussi, dans la mesure où le recourant contestait l'existence même de la surindemnisation fondant la demande de compensation, le recours devait être déclaré irrecevable et la cause rayée du rôle.
4.2. Invoquant une violation de l'art. 85 bis RAI, le recourant reproche à la juridiction cantonale de s'être déclarée à tort incompétente pour examiner ses griefs portant sur les conditions permettant le versement des arriérés de la rente de l'assurance-invalidité à un tiers et sur le bien-fondé de la prétention en restitution.
5.
5.1. L'objet du recours cantonal est la décision du 20 avril 2015, par laquelle l'intimée a notamment fixé le montant dû à l'assuré à titre de rente rétroactive. L'assuré a contesté cette décision devant la juridiction cantonale en critiquant principalement les modalités du paiement de l'arriéré de la rente AI en mains de la caisse de prévoyance, en compensation des prestations excédentaires versées par celle-ci durant la période du 1er janvier 2008 au 30 juin 2014. Il s'en est par ailleurs pris au bien-fondé de la prétention en restitution que la caisse a fait valoir auprès de l'office AI (respectivement la caisse de compensation).
5.2. Contrairement à ce qu'a retenu la juridiction cantonale, le cas d'espèce n'est pas comparable à celui qui a donné lieu à l'arrêt 9C_287/2014 cité. Dans cette affaire, la personne concernée ne s'en prenait pas aux considérations de la juridiction cantonale selon lesquelles les conditions de l'<ref-law> étaient réalisées. Cette cause constituait un cas d'application de la jurisprudence d'après laquelle le bien-fondé de la prétention en restitution que l'assurance perte de gain en cas de maladie fait valoir à titre de surindemnisation doit, en cas de litige, être tranché dans une procédure opposant l'assurance et l'assuré (consid. 4.3 de l'arrêt 4A_24/2012 du 30 mai 2012, non publié aux <ref-ruling>; arrêt I 296/03 du 21 octobre 2004 consid. 4.2).
En revanche, dans le cas d'espèce, le recourant affirmait de manière indiscutable que les conditions de l'art. 85 bis RAI pour le versement des arriérés de la rente d'invalidité à la caisse de prévoyance, à titre de tiers ayant fait une avance, n'étaient pas réalisées. Il soutenait en particulier que le droit au remboursement des prestations de la caisse de prévoyance ne découlait ni de la loi ni du règlement de prévoyance. Or le versement en mains de tiers présuppose le consentement écrit de la personne concernée ou un droit non équivoque au remboursement à l'égard de l'AI (supra consid. 3.2).
5.3. Par conséquent, c'est à tort que la juridiction cantonale n'est pas entrée en matière sur le recours de l'assuré et n'a pas examiné les conditions d'application de l'<ref-law>. Il convient dès lors d'annuler le jugement attaqué et de renvoyer la cause à la juridiction cantonale pour qu'elle entre en matière sur le recours déposé par l'assuré le 22 mai 2015, puis rende une nouvelle décision.
6.
Vu l'issue du litige, les frais et dépens afférents à la présente procédure seront supportés par l'intimé qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis dans la mesure où il est recevable. La décision du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 18 mars 2016 est annulée, la cause étant renvoyée à cette autorité pour qu'elle statue à nouveau en procédant conformément aux considérants.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera à l'avocat du recourant la somme de 2'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1er septembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Bleicker