Faits :
A.
Le 19 juin 2015, la Caisse de compensation du canton de Fribourg a rendu une décision sur opposition en matière de réparation du dommage qu'elle a adressée au mandataire de A._. La notification de cette décision est intervenue le 23 juin 2015.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant principalement à son annulation. Le cachet postal apposé sur l'enveloppe porte la date du 25 août 2015; au recto de l'enveloppe figure également une note manuscrite signée par B._ déclarant qu'il "dépose dans la boîte jaune Genève 3 Rive ce lundi 24 août 2015 à 21h49".
Le tribunal cantonal a invité A._ à s'exprimer sur le respect du délai de recours. Le prénommé a déposé ses observations et requêtes de preuve le 15 septembre 2015.
Par jugement du 21 septembre 2015, la juridiction cantonale a déclaré le recours irrecevable pour cause de tardiveté.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant principalement au renvoi de la cause à la juridiction cantonale afin qu'elle administre les preuves de l'expédition du recours le 24 août 2015 et prenne une nouvelle décision sur la recevabilité du recours.
La caisse intimée conclut au rejet du recours.
Le Tribunal cantonal et l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit :
1.
Il est constant que le délai de trente jours pour déposer le recours (art. 60 al. 1 et 2 LPGA, en liaison avec les art. 38 al. 1 et 4 let. b, et 39 al. 1 LPGA) contre la décision sur opposition du 19 juin 2015 est parvenu à échéance le 24 août 2015, et que le cachet postal apposé sur l'enveloppe ayant contenu le recours cantonal porte la date du 25 août 2015.
Est litigieux le point de savoir si l'envoi a été déposé dans une boîte aux lettres de la Poste suisse le jour précédent, ainsi que le recourant l'a allégué en procédure cantonale. Dans cette éventualité, le recours aurait été interjeté dans le délai légal.
2.
Le tribunal cantonal a rappelé que la preuve de la notification d'une décision incombe à l'autorité. En revanche, la preuve stricte de l'observation du délai de recours, donc de l'expédition de l'acte en temps utile, incombe à la partie (<ref-law>; <ref-ruling> consid. 3b p. 6; arrêt 8C_661/2015 du 14 juin 2016 consid. 2.2; arrêt 9C_118/2016 du 19 avril 2016 consid. 2.1 et les références). Le délai de recours est considéré comme respecté lorsque l'acte a été remis au plus tard le dernier jour du délai à minuit dans une boîte aux lettres (<ref-ruling> consid. 3a p. 184; arrêt 1F_10/2010 du 17 mai 2010). Si le sceau postal fait foi de la date d'expédition, cette présomption est réfragable, la partie ayant le droit de prouver par tous moyens utiles - en particulier par témoins - que le pli a été déposé en temps utile dans une boîte postale alors même qu'il n'aurait été oblitéré que le lendemain (<ref-ruling> consid. 3b p. 375; <ref-ruling> consid. 3a p. 11 ss et les références; <ref-ruling> consid. 2b p. 345; arrêts 9C_139/2016 du 24 mai 2016 consid. 2, et 9C_118/2016 précité).
Dans le cas d'espèce, la juridiction cantonale a considéré que la mention manuscrite apposée sur l'enveloppe par B._, selon laquelle ce dernier indiquait avoir déposé le pli dans la boîte aux lettres à Genève 3 Rive, le lundi 24 août 2015 à 21h49, ne suffisait pas, à elle seule, à prouver, ni même à rendre vraisemblable le dépôt du recours avant la fin de l'échéance du délai, conformément aux exigences posées par la jurisprudence. Pour le tribunal cantonal, si cette inscription incite certes à retenir que B._, dont on sait pas à quel titre il intervient ici, aurait déposé ledit pli le 24 août au soir dans une boîte aux lettres de la Poste suisse à Genève, elle n'établit nullement la présence du mandataire du recourant, ni d'un éventuel autre témoin, à ce moment-là.
L'autorité cantonale a ajouté qu'on pouvait tout au plus déduire de ces déclarations que la présence de B._ était établie, ce qui ne suffisait clairement pas à attester du dépôt du recours à temps. Par ailleurs, elle a douté que les "propriétés Apple", censées fournir la date et l'heure auxquelles les photographies avaient été prises, présentaient une réelle valeur probante. En tout état de cause, elles pouvaient au mieux laisser penser qu'une note manuscrite avait été établie le 24 août 2015 au soir près de la boîte aux lettres de l'Office de poste Rive 3 à Genève, mais que les photographies ne prouvaient en aucun cas que le dépôt avait bien eu lieu à ce moment-là.
Dans ces conditions, le tribunal cantonal a admis qu'il disposait de suffisamment d'éléments pour se forger une opinion et a renoncé à procéder à l'audition de B._ ou d'un autre témoin éventuel.
3.
Le recourant se plaint d'arbitraire dans l'établissement des faits, alléguant qu'ils ont été constatés de manière inexacte (<ref-law>). Sous ce volet, il soutient d'une part que les photographies n'ont pas pu être prises par le témoin B._ lui-même, d'autre part que le tribunal cantonal a omis de retenir que les photographies ont été réalisées avec l'iPhone de son mandataire. La correction de ce vice permet d'influer sur le sort de la cause, car si la juridiction cantonale avait retenu la présence de deux ou trois personnes sur les lieux, elle aurait dû procéder à l'administration des preuves au lieu de rendre une décision d'irrecevabilité en l'état. Selon le recourant, la présence de son mandataire sur place peut être établie sans contestation possible par les photographies et l'appareil qui les a réalisées.
Le recourant se prévaut ensuite d'une violation du droit fédéral (<ref-law>). Il fait grief à la juridiction cantonale de n'avoir pas pris en compte l'offre de preuve par témoignage, invoquée dans ses requêtes de preuve du 15 septembre 2015 et ses annexes, cela en violation des principes jurisprudentiels qui ont pourtant été exposés dans le jugement attaqué (cf. consid. 2 supra). De l'avis du recourant, c'est à tort que le témoignage de B._ a paru inutile au tribunal cantonal, d'autant que cette autorité a forgé son opinion de façon paradoxale sur la base d'autres preuves que sont les photographies illustrant ce témoin et les propriétés de l'iPhone. Le recourant reproche à la juridiction de première instance d'avoir ainsi préjugé, avant toute administration des preuves, des témoignages de B._ et d'une troisième personne.
4.
Selon la jurisprudence, la mention inscrite sur l'enveloppe selon laquelle une personne en a vu une autre mettre une enveloppe à la boîte aux lettres est en principe de nature à établir que le recours a effectivement été déposé en temps utile (consid. 2 supra, par ex. arrêt 1F_10/2010 précité). Il en va de même lorsqu'une personne prend une photographie de la personne qui dépose l'enveloppe dans la boîte aux lettres; le photographe est alors lui-même témoin du dépôt du pli.
La solution adoptée par la juridiction cantonale pourrait échapper à la critique, si cette autorité n'avait disposé que de la seule attestation écrite par B._ pour statuer sur la recevabilité du recours, sans la présence de témoins ni du mandataire. Dans le cas d'espèce toutefois, les preuves offertes par le recourant, à savoir l'examen des photographies et des données de l'iPhone de son mandataire, sont de nature à inférer que le témoin B._ n'était pas seul devant la boîte aux lettres à Genève 3 Rive le soir du 24 août 2015, mais que, selon toute vraisemblance, un tiers s'y trouvait également, à savoir la personne qui l'a photographié. Sur l'une des images, on voit en effet les deux mains de la personne occupée à rédiger l'attestation signée sur l'enveloppe adressée au tribunal cantonal, laquelle est ensuite insérée dans la boîte.
Dès lors que B._ n'était apparemment pas seul sur place, le tribunal cantonal devait préalablement l'interroger sur les circonstances du dépôt du pli. En refusant de faire toute la lumière sur ce point et d'entendre B._, comme le recourant l'avait requis le 15 septembre 2015, la juridiction cantonale a d'emblée écarté un moyen de preuve pertinent reconnu par la jurisprudence pour faire attester du respect du délai de recours, en violation du principe inquisitoire. La cause doit dès lors lui être renvoyée afin qu'elle administre les preuves offertes et rende un nouveau jugement.
5.
L'intimée, qui succombe, supportera les frais de la procédure fédérale (<ref-law>) et les dépens du recourant (<ref-law>)

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision du Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, du 21 septembre 2015, est annulée, la cause lui étant renvoyée pour instruction complémentaire et nouveau jugement au sens des considérants.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant une indemnité de dépens de 2'800 fr. pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1 er septembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud