Faits :
A.
Les époux A.A._ et B.A._ sont séparés de corps depuis 1988 (jugement du Tribunal de première instance du canton de Genève du 23 juin 1988). Ils perçoivent tous deux une rente ordinaire simple de vieillesse non plafonnée depuis le 1 er juin 2009, respectivement le 1 er mars 2011 (décisions de la Caisse fédérale de compensation [ci-après: la caisse de compensation] des 4 mai 2009 et 11 février 2011).
A la suite d'un contrôle de dossiers, la caisse de compensation a plafonné le montant des rentes allouées aux époux avec effet au 1 er juin 2014, au motif qu'ils avaient repris la vie commune depuis le 1 er janvier 2014 (décisions du 16 mai 2019, confirmées sur opposition le 9 août suivant). Elle a également exigé la restitution des montants perçus en trop durant la période courant du 1 er juin 2014 au 31 mai 2019, soit une somme de 27'366 fr. s'agissant de l'assurée, et de 26'221 fr. concernant son époux.
B.
Statuant le 30 janvier 2020 sur le recours formé par A.A._ et B.A._ contre la décision sur opposition du 9 août 2019, le Tribunal cantonal de la République et canton du Jura, Cour des assurances, l'a rejeté.
C.
A.A._ et B.A._ interjettent un recours en matière de droit public contre ce jugement dont ils demandent l'annulation. Ils concluent principalement à ce qu'il soit dit et déclaré que le délai de péremption d'un an selon l'<ref-law> était échu au moment où la décision de restitution a été rendue et qu'ils ne sont à ce titre pas tenus à restitution. Subsidiairement, ils demandent le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il fonde par ailleurs son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
Le litige porte sur l'obligation des recourants de restituer à la caisse de compensation intimée un montant de 53'587 fr., correspondant à des rentes de vieillesse perçues en trop entre le 1er juin 2014 et le 31 mai 2019, en violation de l'<ref-law>. Compte tenu des conclusions et motifs du recours, qui ont exclusivement trait au moment à partir duquel l'intimée avait pris connaissance de la reprise de la vie commune des époux, il s'agit d'examiner si l'administration a respecté le délai de péremption d'une année prévu par l'<ref-law>.
3.
3.1. Aux termes de l'art. 25 al. 2, première phrase LPGA, le droit de demander la restitution s'éteint un an après le moment où l'institution d'assurance a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation. Il s'agit de délais (relatif et absolu) de péremption, qui doivent être examinés d'office (<ref-ruling> consid. 4.1 p. 582).
3.2. Selon la jurisprudence, le délai de péremption relatif d'une année commence à courir dès le moment où l'administration aurait dû connaître les faits fondant l'obligation de restituer, en faisant preuve de l'attention que l'on pouvait raisonnablement exiger d'elle (<ref-ruling> consid. 5a p. 274 s.). L'administration doit disposer de tous les éléments qui sont décisifs dans le cas concret et dont la connaissance fonde - quant à son principe et à son étendue - la créance en restitution à l'encontre de la personne tenue à restitution (<ref-ruling> consid. 3 p. 17). Si l'administration dispose d'indices laissant supposer l'existence d'une créance en restitution, mais que les éléments disponibles ne suffisent pas encore à en établir le bien-fondé, elle doit procéder, dans un délai raisonnable, aux investigations nécessaires. A défaut, le début du délai de péremption doit être fixé au moment où elle aurait été en mesure de rendre une décision de restitution si elle avait fait preuve de l'attention que l'on pouvait raisonnablement exiger d'elle. Dans tous les cas, le délai de péremption commence à courir immédiatement s'il s'avère que les prestations en question étaient clairement indues (arrêts 8C_906/2014 du 30 novembre 2015 consid. 5.2.1 et 9C_632/2012 du 10 janvier 2013 consid. 4.2 et les références).
4.
4.1. Les premiers juges ont admis qu'en demandant la restitution des prestations versées indûment entre le 1er juin 2014 et le 31 mai 2019, par décisions du 16 mai 2019, la caisse de compensation avait agi en temps utile. Ils ont considéré que le délai de péremption relatif d'une année selon l'<ref-law> avait commencé à courir le 2 mai 2019, soit au moment où la caisse intimée avait effectivement eu connaissance de la reprise de la vie commune des recourants, dans le cadre d'une procédure de contrôle de leurs dossiers. La correspondance du 4 janvier 2014, par laquelle l'assurée avait informé l'intimée de sa nouvelle adresse, ne permettait pas à celle-ci de suspecter que les époux faisaient à nouveau ménage commun, si bien qu'il ne pouvait pas lui être reproché de ne pas avoir requis de renseignements complémentaires à ce moment-là.
4.2. Les recourants reprochent en substance à la juridiction cantonale d'avoir établi les faits de manière manifestement inexacte et en violation du droit fédéral, en ce qu'elle a admis que la caisse de compensation intimée avait effectivement eu connaissance des faits fondant l'obligation de restituer le 2 mai 2019 seulement. Ils soutiennent que le dies a quo du délai de péremption d'un an prévu à l'<ref-law> doit être fixé au 4 janvier 2014, soit au moment où la recourante avait informé la caisse intimée de son changement d'adresse. Selon eux, bien que l'assurée n'eût pas expressément mentionné dans sa correspondance qu'elle faisait à nouveau ménage commun avec son époux, elle avait respecté son obligation d'informer la caisse de compensation de toute modification importante des circonstances déterminantes pour l'octroi des prestations (<ref-law>). Dès lors qu'il ne fait aucun doute que la caisse intimée disposait à ce moment-là, à tout le moins, d'un faisceau d'indices laissant supposer l'existence d'une créance en restitution, il lui eût appartenu, en vertu du principe de la protection de la bonne foi (art. 9 Cst.), de requérir des renseignements complémentaires à la suite de la correspondance de l'assurée du 4 janvier 2014. Aussi, en l'absence de réaction de la part de l'intimée dans un délai utile, les recourants auraient-ils de bonne foi et à juste titre considéré que les montants perçus à titre de rentes étaient légitimement dus.
5.
5.1. Les constatations de l'autorité judiciaire de première instance sur ce que les parties savaient ou ne savaient pas à un certain moment relèvent d'une question de fait (arrêt 8C_585/2018 du 22 février 2019 consid. 6 et la référence), que le Tribunal fédéral examine avec un pouvoir limité (consid. 1 supra). Quoi qu'en disent les recourants, les constatations des premiers juges quant à la date à laquelle l'intimée a eu connaissance de la reprise de leur vie commune ne sont ni manifestement inexactes, ni arbitraires.
A cet égard, les assurés se limitent à affirmer que la caisse de compensation "savait qu['ils] n'étaient pas divorcés et qu'elle connaissait l'adresse [du recourant]" si bien que le courrier de la recourante du 4 janvier 2014, par lequel elle l'avait informée de sa nouvelle adresse, "constituait à lui seul un élément propre à éveiller chez l'intimée un sérieux doute quant à la reprise de la vie commune des recourants". Une telle allégation ne suffit pas à démontrer le caractère arbitraire ou manifestement inexact des constatations de la juridiction cantonale. Celle-ci a expliqué que dans la mesure où l'assurée n'avait fait qu'informer la caisse de compensation de son changement d'adresse, sans préciser qu'elle faisait à nouveau ménage commun avec son époux, dont elle était séparée depuis 25 ans, sa correspondance de janvier 2014 ne suffisait pas pour admettre que l'administration disposait, à cette époque déjà, d'indices laissant supposer la reprise d'une vie commune. Les premiers juges ont à ce propos exposé que sauf à retenir que l'intimée gardât en mémoire les adresses de tous ses administrés ou eût une base de données informatique contenant des algorithmes susceptibles de faire des rapprochements entre deux administrés, la seule information d'un changement d'adresse ne permettait pas de considérer qu'elle eût dû suspecter que les recourants avaient repris la vie commune et qu'elle eût dû entreprendre les démarches en vue d'un contrôle de leurs dossiers respectifs à cette occasion. En vertu déjà de leur obligation de renseigner (<ref-law>), il incombait bien plutôt aux recourants d'informer expressément la caisse de compensation du fait qu'ils avaient repris la vie commune, ce qu'ils n'ont pas fait et ne contestent au demeurant pas.
5.2. Quant au grief des recourants tiré d'une "motivation manifestement lacunaire" du jugement entrepris, il ne résiste pas à l'examen. A l'inverse de ce qu'ils allèguent, la juridiction de première instance a indiqué les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Par ailleurs, les interrogations des premiers juges quant à l'élément déclencheur ayant amené l'intimée à procéder à un contrôle des dossiers des recourants en mai 2019, en l'absence d'élément nouveau, ne permettent pas de considérer que leur motivation serait "déficiente, à tout le moins très insuffisante", comme le soutiennent les recourants. Une caisse de compensation est en effet libre de procéder à une révision périodique du droit de ses assurés à des prestations durables (<ref-law>), sans devoir justifier une telle démarche par un motif particulier. Le recours est mal fondé.
6.
Vu l'issue du litige, les frais de justice seront supportés par les recourants qui succombent (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge des recourants pour moitié chacun.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 mai 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud