Faits :
A.
Par décision du 20 juillet 2015, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a octroyé une rente entière d'invalidité à A._ du 1 er décembre au 31 décembre 2012 et du 1 er janvier 2013 au 31 mars 2014. Cette décision a été notifiée directement à l'assuré, lequel était représenté par M e Hervé Bovet.
B.
Le 22 mars 2016, A._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Fribourg, Cour des assurances sociale. Par jugement du 5 avril suivant, la juridiction cantonale a déclaré le recours irrecevable, au motif qu'il était manifestement tardif.
C.
L'assuré interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à l'autorité cantonale pour une décision sur le fond.
Invités à se déterminer sur le recours, l'office AI et l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
2.
Le litige porte uniquement sur le point de savoir si la juridiction cantonale était en droit de ne pas entrer en matière sur le recours cantonal pour cause de tardiveté. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à la notification irrégulière d'une décision ainsi qu'au rôle de la bonne foi en la matière, en particulier la diligence que l'on peut attendre du justiciable pour réagir dès la connaissance de la décision s'il entend recourir contre cette dernière. Il suffit d'y renvoyer.
3.
Le tribunal cantonal a considéré que le recours de l'assuré déposé le 22 mars 2016 contre la décision du 20 juillet 2015 était manifestement tardif. Il a retenu que si la notification de la décision de l'office intimé directement au recourant était certes irrégulière, elle n'était pas susceptible d'entraîner la nullité de la décision. En effet, conformément à la jurisprudence fédérale citée dans le jugement entrepris, l'assuré aurait dû faire preuve de la diligence requise et informer son représentant de l'existence de cette décision dans un délai de 30 jours (arrêt 9C_741/2012 du 12 décembre 2012 consid. 2). L'assuré n'a vraisemblablement transmis l'information à son représentant que durant le mois de février 2016. La juridiction cantonale a considéré que le fait que l'assuré ne lisait pas le français ne modifiait en rien son devoir de diligence; il lui appartenait d'autant plus de se renseigner sans attendre sur le contenu des documents qu'il avait reçus et n'aurait pas compris.
4.
4.1. Le recourant reproche aux premiers juges d'avoir retenu un manque de diligence de sa part, parce qu'il n'avait pas informé son mandataire de l'existence de la décision du 20 juillet 2015 dans le délai de 30 jours. Il soutient qu'il n'était pas en mesure de réagir à ce courrier dans la mesure où il ne comprenait pas le français.
4.2. En l'occurrence, les premiers juges n'ont pas fait preuve d'arbitraire en retenant que le devoir de diligence du recourant n'était pas diminué mais au contraire renforcé par le fait qu'il ne lisait pas le français. On peut effectivement supposer qu'en cas de réception d'un courrier rédigé dans une langue qu'il ne connaît pas, le destinataire cherche à en comprendre le contenu ou, à tout le moins, s'informe sur l'éventuelle suite à y donner. Aussi, dans la mesure où l'assuré avait requis des prestations (demande de rente déposée le 29 juin 2012) et avait reçu un projet de décision l'informant de l'octroi d'une rente limitée dans le temps (datée du 3 mars 2015) - ce qui l'a motivé à confier la défense de ses intérêts à un avocat - il devait s'attendre à ce qu'une décision relative à sa demande allait être rendue. Ainsi, même s'il n'était pas en mesure de lire et de comprendre le contenu de la décision, il était raisonnablement exigible de sa part qu'il s'informât auprès de son représentant, d'autant que le montant de la rente octroyée ainsi que les dates correspondantes - identiques à celles du projet de décision - figuraient sur le document. Conformément aux règles de la bonne foi, il ne pouvait pas simplement ignorer la décision et ne rien entreprendre pour la contester (arrêt 9C_85/2011 du 17 janvier 2012 consid. 6.2). Finalement, contrairement à ce qu'il soutient, la juridiction cantonale ne s'est pas contentée de prétendre qu'un assuré devrait contacter son avocat à chaque courrier qu'il reçoit s'il n'en comprend pas le contenu. Elle a fait application des principes jurisprudentiels en la matière et constaté qu'en l'espèce, il pouvait raisonnablement être attendu de sa part qu'il informe son représentant.
4.3. Au vu de ce qui précède, l'assuré ne parvient pas à établir que les considérations des premiers juges seraient manifestement inexactes ou contraires au droit. Il n'y a donc pas lieu de s'écarter de leur appréciation. Le recours est partant mal fondé.
5.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 première phrase LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 octobre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Meyer
La Greffière : Flury