Faits : A. A._ a travaillé en qualité de manoeuvre pour le compte de l'entreprise B._ SA. A ce titre, il était affilié auprès de la Fondation collective LPP d'Elvia Vie, Société Suisse d'Assurances sur la Vie. Cet établissement a ultérieurement été repris par Allianz Suisse, Société d'Assurances sur la Vie (ci-après: la caisse de prévoyance). Le 10 mai 2000, l'assuré a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Le 30 avril 2014, la Caisse de compensation du canton de Fribourg (ci-après: la caisse de compensation) a informé les tiers ayant fait des avances à l'assuré que celui-ci avait droit à des paiements rétroactifs de l'assurance-invalidité et les a invités à lui communiquer le cas échéant le montant dont ils demandaient le remboursement. Le 19 mai 2014, la caisse de prévoyance a fait valoir un montant de 32'246 fr. 90, portant sur la période du 1 er janvier 2008 au 30 juin 2014, pour laquelle elle avait versé une rente d'invalidité à l'assuré. Le 26 juin 2014, l'office AI a octroyé une demi-rente de l'assurance-invalidité à A._ à compter du 1 er juillet 2014. Il lui a par la suite reconnu le droit à une demi-rente du 1 er janvier 2000 au 30 juin 2014; il a fixé le montant total de l'arriéré de rentes dû en faveur de l'assuré à 70'509 fr., sous déduction des rentes déjà versées du 1 er janvier 2000 au 31 mars 2001 (décision du 20 avril 2015). Selon un décompte auquel renvoie la décision, le montant à verser à titre de compensation en faveur de la caisse de prévoyance s'élevait à 29'101 fr. 60, sous déduction de l'impôt à la source par 2'910 fr. B. Par deux recours séparés, A._ a déféré la décision du 26 juin 2014, ainsi que la décision du 20 avril 2015 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. La juridiction cantonale a rejeté le recours contre la décision du 26 juin 2014 (jugement du 12 février 2016), tandis qu'elle a déclaré irrecevable le recours contre la décision du 20 avril 2015 (jugement du 18 mars 2016). C. A._ forme un recours en matière de droit public contre le jugement du 18 mars 2016 dont il demande l'annulation. Il conclut à ce que l'office AI, par l'intermédiaire de la caisse de compensation, soit condamné à lui verser la somme de 29'101 fr. 60, avec intérêts à 5 % l'an dès le 1er avril 2011. Son recours est par ailleurs assorti d'une demande d'assistance judiciaire. L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer sur le recours. A._ a déposé des observations sur la réponse. D. Par arrêt séparé de ce jour, dans la cause 9C_220/2016, le Tribunal fédéral a partiellement admis le recours formé par l'assuré contre le jugement de la Cour des assurances sociales du 12 février 2016 et renvoyé la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.