Faits :
A.
Le 25 février 2011, A._, né en 1970, a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI). Du 17 novembre 2011 au 31 août 2012, il a perçu des indemnités de l'assurance-chômage à raison d'un taux d'occupation de 100 %, pour un total de 35'382 fr. 60. Par dix décomptes rectificatifs du 4 avril 2013, la Caisse publique de chômage du canton de Fribourg a requis la restitution de ce montant, ce que l'assuré n'a pas contesté.
Par décisions du 20 février 2014, l'office AI a mis A._ au bénéfice d'une rente entière de l'assurance-invalidité rétroactivement du 1 er septembre 2011 au 31 août 2012, puis d'un quart de rente à compter du 1 er février 2013, ces prestations étant accompagnées de rentes pour enfants. Par erreur, la Caisse de compensation Swissmem (ci-après: la caisse Swissmem) a versé à l'assuré le montant qu'elle aurait dû remettre à la caisse de chômage à titre de compensation. Par décision du 10 novembre 2014, la caisse de chômage a demandé à la caisse Swissmem de lui rembourser, à titre de compensation, le montant de 35'382 fr. 60 payé pour la période du 17 novembre 2011 au 31 août 2012. La caisse Swissmem a versé le montant réclamé à la caisse de chômage.
Par décision du 29 septembre 2015 adressée à son assuré, l'office AI lui a indiqué que le droit de la caisse de chômage de compenser les avances effectuées par elle avec le paiement rétroactif de la rente d'invalidité n'avait pas été pris en compte, si bien que la décision d'octroi de la rente du 20 février 2014 devait être reconsidérée et que leur restitution serait demandée. Par décision du 6 octobre 2015, l'office AI a requis de l'assuré la restitution du montant de 35'382 fr. 60. Par jugement du 9 novembre 2016, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, a rejeté, dans la mesure de sa recevabilité, le recours que l'assuré avait formé contre la décision du 6 octobre 2015.
Les 3 novembre 2015 et 24 novembre 2016, l'assuré a demandé à l'office AI de remettre son obligation de restituer la somme de 35'382 fr. 60. Par décision du 20 février 2019, l'office AI a rejeté la demande.
B.
A._ a déféré cette décision au tribunal cantonal qui l'a débouté par jugement du 2 décembre 2019.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à sa libération.

Considérant en droit :
1.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 503) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1 p. 253).
2.
Le litige porte sur le droit du recourant d'obtenir la remise de l'obligation de restituer la somme de 35'382 fr. 60.
3.
Selon l'art. 25 al. 1 LPGA (RS 830.1), les prestations indûment touchées doivent être restituées. La restitution ne peut être exigée lorsque l'intéressé était de bonne foi et qu'elle le mettrait dans une situation difficile. Ces deux conditions matérielles sont cumulatives et leur réalisation est nécessaire pour que la remise de l'obligation de restituer soit accordée (<ref-ruling> consid. 3c p. 53; arrêt 9C_16/2019 du 25 avril 2019 consid. 3).
Selon la jurisprudence, l'ignorance, par le bénéficiaire des prestations, du fait qu'il n'avait pas droit aux prestations ne suffit pas pour admettre sa bonne foi. Il faut bien plutôt que le requérant ne se soit rendu coupable, non seulement d'aucune intention malicieuse, mais aussi d'aucune négligence grave. Il s'ensuit que la bonne foi, en tant que condition de la remise, est exclue d'emblée lorsque les faits qui conduisent à l'obligation de restituer - comme par exemple une violation du devoir d'annoncer ou de renseigner - sont imputables à un comportement dolosif ou à une négligence grave. En revanche, le bénéficiaire peut invoquer sa bonne foi lorsque l'acte ou l'omission fautifs ne constituent qu'une violation légère de l'obligation d'annoncer ou de renseigner (<ref-ruling> consid. 4 p. 220 s. avec les renvois).
Il y a négligence grave quand un ayant droit ne se conforme pas à ce qui peut raisonnablement être exigé d'une personne capable de discernement dans une situation identique et dans les mêmes circonstances (<ref-ruling> consid. 3d p. 181; SYLVIE PÉTREMAND, Commentaire romand, Loi sur la partie générale des assurances sociales, ch. 63 ss ad art. 25). L'examen de l'attention exigible d'un ayant droit qui invoque sa bonne foi relève du droit et le Tribunal fédéral revoit librement ce point (<ref-ruling> consid. 3 p. 223 avec les renvois).
4.
Les premiers juges ont constaté que le recourant avait perçu des indemnités de chômage et une rente entière de l'assurance-invalidité pour la même période, même si les versements n'avaient pas été simultanés (entre le 17 novembre 2011 et le 31 août 2012 pour les premières, respectivement à compter de la décision du 20 février 2014 pour la seconde). Ils ont admis que même si on ne pouvait pas exclure que le recourant n'eût pas été en mesure de saisir l'ensemble de la décision de l'assurance-invalidité, qui demeurait d'une certaine complexité pour des profanes, il n'en demeurait pas moins que la motivation de la décision du 20 février 2014 était sans ambiguïté sur les périodes concernées. Le Tribunal cantonal en a déduit que le recourant ne pouvait pas ignorer qu'une rente de l'assurance-invalidité, dont il avait fait la demande six mois avant de percevoir les prestations de l'assurance-chômage, lui était versée pour la même période. Pour la juridiction cantonale, le recourant aurait dû se renseigner auprès des autorités compétentes. La négligence commise ne pouvait ainsi être qualifiée de légère, de sorte que la demande de remise avait été rejetée à juste titre.
5.
5.1. Le recourant soutient d'abord que le caractère indu des prestations allouées par l'assurance-invalidité n'est pas établi et se demande si la décision de restitution n'est pas nulle, ce qui devrait être examiné d'office. A son avis, la caisse de chômage aurait dû elle-même lui réclamer le remboursement des indemnités de chômage versées indument.
La question de la restitution des indemnités avancées par l'assurance-chômage, par compensation avec la rente de l'assurance-invalidité, est étrangère à l'objet de la contestation. Elle a fait l'objet de la décision du 6 octobre 2015 qui a été entérinée par l'autorité judiciaire cantonale (cf. jugement du 9 novembre 2016) et qui est passée en force. Il n'y a donc pas lieu d'y revenir.
5.2. Le recourant se prévaut ensuite de la péremption du droit de l'intimé de réclamer la restitution de prestations qu'il a reçues à tort.
Ce point ne constitue pas non plus l'objet de la contestation. Comme le précédent, il a aussi été examiné et tranché par l'instance judiciaire cantonale dans son jugement du 9 novembre 2016 (consid. 5b), de sorte qu'il n'y a pas lieu de le réexaminer.
5.3.
5.3.1. Le recourant invoque enfin sa bonne foi. Il soutient qu'il n'est pas établi qu'il était parfaitement au fait des principes applicables en matière d'assurances sociales, notamment en cas de surindemnisation. A son avis, les premiers juges n'ont pas apprécié correctement le fait qu'il aurait dû lui-même vérifier la répartition du paiement rétroactif entre les assureurs, et prendre en compte les rentes d'invalidité allouées pour ses enfants. En outre, les juges ont mal apprécié le fait qu'il aurait dû procéder à cette analyse une année et demie après avoir reçu les prestations de l'assurance-chômage et avoir suivi des mesures de réadaptation de l'assurance-invalidité, alors qu'il se trouvait impliqué dans une procédure complexe avec l'assureur-accidents et qu'il avait reçu des indemnités de l'assurance perte de gain en cas de maladie. Il reproche ainsi à l'instance précédente d'avoir non seulement procédé à une constatation inexacte des faits pertinents, mais d'avoir écarté des éléments de preuve pertinents. Dans l'hypothèse la moins favorable, seule une négligence légère pourrait lui être imputée, de sorte que sa bonne foi devrait être reconnue.
5.3.2. Les moyens du recourant relatifs à sa bonne foi ne résistent pas à l'examen du dossier. En effet, pour apprécier le comportement qui lui est reproché, il faut tenir compte du fait que le recourant était assisté à l'époque par l'étude B._ (M es C._ et D._). Ses précédents mandataires auraient dû s'apercevoir, à la lecture du dossier qui leur avait été communiqué à leur demande, et à qui l'intimé avait notifié le projet d'acceptation de rente du 22 mars 2013 et les décisions du 20 février 2014, que la caisse Swissmem allait verser à tort à leur client un montant qui devait revenir à la caisse de chômage. Connaissant le caractère indu des prestations de chômage (voir les décomptes rectificatifs du 4 avril 2013 que le recourant n'avait pas contestés), ils auraient dû se renseigner sur le bien-fondé du calcul auprès de la caisse Swissmem, car la décision du 20 février 2014 ne mentionnait qu'Helsana Assurance SA en qualité de tiers habilité à recevoir une partie du paiement et non la caisse de chômage, alors que cette dernière figurait parmi les destinataires du projet d'acceptation de rente d'invalidité du 22 mars 2013. On se trouve ainsi en présence d'une négligence grave qui exclut la bonne foi du recourant (cf. par ex. arrêt C 70/03 du 2 juillet 2003, in DTA 2005 p. 69), de sorte que l'une des conditions cumulatives pour autoriser la remise de l'obligation de restituer fait défaut (cf. art. 25 al. 1 LPGA). A cet égard, il faut rappeler que les actes et omissions d'un avocat sont imputables à son client (<ref-ruling> consid. 1.3 p. 288 et les arrêts cités) et que lorsque le recourant ou le mandataire fait usage des services d'un auxiliaire, il répond du comportement de celui-ci comme de ses propres actes (cf. <ref-ruling>; arrêt 8C_743/2019 du 20 décembre 2019 consid. 4.3 et les références). Il s'ensuit que le recours est infondé.
6.
Le recourant, qui succombe, supportera les frais de la procédure, lesquels sont fixés en fonction de la valeur litigieuse de 35'382 fr. 60 (cf. Tarif des émoluments judiciaires du Tribunal fédéral, du 31 mars 2006, ch. 1; RS 173.110.210.1).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 octobre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud