Faits : A. Par décision du 20 juillet 2015, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a octroyé une rente entière d'invalidité à A._ du 1 er décembre au 31 décembre 2012 et du 1 er janvier 2013 au 31 mars 2014. Cette décision a été notifiée directement à l'assuré, lequel était représenté par M e Hervé Bovet. B. Le 22 mars 2016, A._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Fribourg, Cour des assurances sociale. Par jugement du 5 avril suivant, la juridiction cantonale a déclaré le recours irrecevable, au motif qu'il était manifestement tardif. C. L'assuré interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à l'autorité cantonale pour une décision sur le fond. Invités à se déterminer sur le recours, l'office AI et l'Office fédéral des assurances sociales ont renoncé à se déterminer.