Faits :
A.
A.a. A._, né en 1952, a été affilié auprès de la Caisse de pensions de la République et canton du Jura (ci-après: la Caisse de pensions) du 22 octobre 1979 au 31 octobre 1984, puis auprès de différentes autres caisses de pensions (auprès de Vaudoise Vie Assurance collective du 1er janvier 1985 au 31 décembre 1989, d'Agrisano Pencas [anciennement Fondation de la caisse de pension de l'agriculture suisse] du 1er janvier 1990 au 31 décembre 2006, puis de la Caisse Inter-Entreprises de Prévoyance Professionnelle [CIEPP] du 1er janvier 2007 au 30 avril 2009).
Au terme de l'affiliation, par courrier du 11 février 1985, la Caisse de pensions a indiqué à A._ que son indemnité de sortie s'élevait à 16'983 fr.; elle lui a également présenté les possibilités d'affectation de ce montant, à savoir une prestation de libre passage à transférer à l'institution prévue par son nouvel employeur, une police de libre passage garantissant une rente réduite aux conditions initiales, ou un dépôt épargne prévu au taux technique de la Caisse de pensions, cette dernière option s'appliquant par défaut en cas d'absence de prise de position de l'intéressé au 15 mars 1985.
A.b. Le 14 juin 2017, A._ a requis de la Caisse de pensions le versement des prestations de prévoyance professionnelle correspondant à sa période d'affiliation auprès d'elle, du 22 octobre 1979 au 31 octobre 1984. A sa connaissance, aucune prestation de libre passage n'avait à l'époque été transférée à l'institution de prévoyance de son nouvel employeur, malgré les démarches usuelles effectuées. Un échange de correspondances s'en est suivi entre les parties, au terme duquel la Caisse de pensions a nié toute obligation de prester (courrier du 6 avril 2018). En bref, elle a considéré que dans la mesure où aucun dépôt épargne n'avait été constitué auprès d'elle en faveur de A._, l'indemnité de sortie avait été transférée auprès d'une autre caisse de pensions ou auprès d'une banque ou d'une assurance sous forme de police de libre passage. Elle a précisé ne pas avoir retrouvé les documents relatifs au transfert dans ses archives, qu'elle n'était pas tenue légalement de fournir ces pièces car l'obligation de conserver les documents de prévoyance importants cessait après un délai de dix ans et qu'il incombait à l'assuré d'apporter la preuve qu'un dépôt épargne avait été ouvert à son nom auprès d'elle en 1985.
B.
Le 30 avril 2018, A._ a ouvert action contre la Caisse de pensions devant le Tribunal cantonal de la République et canton du Jura, Cour des assurances. Il a conclu à ce qu'elle soit condamnée à lui verser un montant brut de 16'983 fr., avec intérêts selon l'art. 12 al. 1 OPP 2 dès le 1er novembre 1984. La Caisse de pensions a conclu au rejet de la demande. Elle a produit un document intitulé "Indemnités de sortie dues par la Caisse de pensions" signé par B._, administrateur de l'époque, et daté du 21 janvier 1985, mentionnant la prestation de sortie de A._ sous le mode "trft", abréviation qui, selon elle, signifie "transfert". Le Tribunal cantonal a notamment requis des informations auprès de Swisslife SA (anciennement Vaudoise Vie Assurance collective) et de la Banque cantonale du Jura, avec laquelle la Caisse de pensions collaborait en 1984 et 1985 s'agissant du transfert des indemnités de sortie. Par jugement du 27 février 2020, il a rejeté l'action.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il reprend les mêmes conclusions qu'en instance cantonale. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour nouvelle décision ou instruction au sens des considérants.
La Caisse de pensions conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
A._ a déposé des observations le 24 juin 2020.

Considérant en droit :
1.
Le recours est dirigé contre un jugement final (<ref-law>) qui a été rendu dans une cause de droit public relative à une prestation de la prévoyance professionnelle ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>, par une autorité supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), de sorte que la voie du recours en matière de droit public est ouverte, sans égard à la valeur litigieuse. L'argumentation de l'intimée à l'appui de l'irrecevabilité du recours, selon laquelle la valeur litigieuse prescrite par l'<ref-law> ne serait pas atteinte, n'est pas fondée, dès lors qu'il ne s'agit pas en l'espèce d'une contestation pécuniaire en matière de responsabilité étatique ou en matière de rapports de travail de droit public au sens de cette disposition. Partant, il convient d'entrer en matière sur le recours.
2.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
3.
3.1. Le litige porte sur le droit du recourant à des prestations de la prévoyance professionnelle. Il s'agit plus particulièrement de déterminer si les premiers juges étaient en droit de nier que la Caisse de pensions intimée fût tenue de verser au recourant la somme de 16'983 fr. avec intérêts, correspondant à l'avoir de vieillesse qu'il avait constitué durant son affiliation auprès d'elle.
3.2. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs, notamment, à la garantie des droits acquis par les assurés avant l'entrée en vigueur de la LPP, le 1er janvier 1985 (<ref-law>), et à la compétence des autorités juridictionnelles instituées par l'<ref-law> pour connaître de litiges relatifs à des prétentions et des créances fondées sur un cas d'assurance qui est survenu après le 1er janvier 1985 (<ref-ruling> consid. 3 et 4 p. 359 ss a contrario). Il suffit d'y renvoyer.
4.
4.1. Les premiers juges se sont d'abord référés à l'art. 43 al. 1 du Décret du 12 février 1981 sur la Caisse de pensions de la République et Canton du Jura (aRSJU 173.51; ci-après: le Décret), relatif à la libération de la créance, pour rappeler les possibilités qui s'offraient au recourant quant à l'affectation de son avoir de vieillesse au terme de son affiliation auprès de la Caisse de pensions intimée.
Dans sa teneur applicable au moment où l'intéressé est sorti de la Caisse de pensions, cette disposition prévoyait que: "Pour la libération de la créance qu'il a contre la Caisse, au sens de l'article 42, l'assuré peut choisir entre: a) le transfert à l'institution de prévoyance d'un nouvel employeur; b) la conclusion d'une police de libre passage auprès de la Caisse de pensions ou du 'Pool des compagnies d'assurance'; c) l'ouverture d'un compte bloqué auprès de la Caisse de pensions; d) le paiement de la créance dans les cas prévus à l'article 44". Conformément à l'art. 43 al. 2 du Décret, l'assuré est tenu de choisir une des solutions prévues par l'al. 1 au plus tard soixante jours après la fin des rapports de service; à défaut d'une détermination de sa part, le montant de la créance, calculé au jour de la fin des rapports de service, est automatiquement transféré sur un compte bloqué ouvert auprès de la Caisse de pensions.
En vertu de l'art. 42 al. 1 let. b du Décret, l'assuré dont les rapports de service prennent fin avant l'ouverture du droit à la pension de retraite, et pour un motif autre que le décès, acquiert la créance suivante: s'il compte cinq années complètes d'affiliation, mais moins de vingt, 9 % du dernier traitement assuré par année d'affiliation révolue le jour où prennent fin les rapports de service; elle augmente de 0,2 % du dernier traitement assuré par année d'affiliation révolue le jour où cessent les rapports de service.
4.2. Considérant qu'il n'était pas établi si, en l'espèce, le recourant avait expressément procédé au choix requis pour la libération de la créance et, le cas échéant, s'il en avait fait part à la Caisse de pensions, la juridiction cantonale a examiné quelle était l'option prévue par l'art. 43 du Décret qui présentait un degré de vraisemblance prépondérante. Après avoir exclu que la Caisse de pensions eût opéré un paiement en espèce en faveur du recourant ou transféré sa prestation de sortie auprès de Vaudoise Vie Assurance collective, elle a retenu que la conclusion d'une police de libre passage, tout comme l'ouverture automatique d'un compte bloqué au nom du recourant auprès de la Caisse de pensions, constituaient des hypothèses envisageables. Au vu du doute subsistant quant au point de savoir si l'avoir de vieillesse du recourant se trouvait ou non encore en possession de la Caisse de pensions, les premiers juges ont déterminé quelle partie devait supporter les conséquences de l'absence de preuve. Etant donné que le recourant avait cessé d'être affilié auprès de la Caisse de pensions en 1984, ils ont considéré que l'obligation de celle-ci de conserver les pièces était soumise à la prescription générale de dix ans selon l'<ref-law> dans sa teneur en vigueur à cette époque (actuel <ref-law>). Ils ont constaté que le délai légal de conservation était désormais échu depuis vingt-cinq ans et depuis plus de dix ans au moment de l'entrée en vigueur des art. 27i à 27k OPP 2, relatifs à la conservation des pièces, le 1er janvier 2005. Dans la mesure où aucune violation de l'obligation de conserver les pièces ne pouvait ainsi être reprochée à l'intimée, ils ont admis que les conséquences de l'absence de preuve devaient être supportées par le recourant, qui invoquait un droit à une prestation. Partant, ils ont nié que l'intimée fût tenue de verser au recourant l'avoir de vieillesse correspondant aux cotisations acquittées durant sa période d'affiliation auprès d'elle.
5.
5.1. Dans un premier moyen, le recourant reproche à la juridiction cantonale d'avoir considéré que sa créance à l'égard de la Caisse de pensions relative à l'avoir de vieillesse était prescrite.
5.2. Contrairement à ce que soutient le recourant, la juridiction cantonale n'a pas examiné la question de la prescription de la créance qu'il invoque à l'égard de la Caisse de pensions. Les premiers juges ont retenu que l'assuré n'était plus en mesure de faire valoir ses droits s'agissant de son avoir de vieillesse parce qu'il devait supporter les conséquences de l'absence de preuve. C'est lui en effet qui invoquait un droit, alors qu'aucune violation de l'obligation de conserver les pièces ne pouvait être reprochée à l'intimée.
Dans la mesure où la Caisse de pensions n'a soulevé l'exception de la prescription ni en procédure cantonale ni devant le Tribunal fédéral, il n'y a pas lieu d'examiner si la créance dont se prévaut le recourant était prescrite au moment où il a ouvert action devant la juridiction cantonale, en avril 2018. L'exception tirée de la prescription n'a en effet pas à être relevée d'office par le juge et il appartient au seul débiteur de la soulever (<ref-ruling> consid. 2.2.2 p. 227; <ref-ruling> consid. 4 p. 241).
6.
6.1. Le recourant se plaint ensuite d'un établissement manifestement arbitraire des faits et d'une violation de l'art. 73 al. 2, 2e phrase, LPP. Il reproche à la juridiction de première instance d'avoir admis qu'il lui appartenait de supporter les conséquences de l'absence de preuve quant au sort de l'avoir de vieillesse et d'avoir ainsi considéré qu'il n'était plus en mesure de faire valoir ses droits à cet égard. Dans la mesure où la Caisse de pensions a indiqué avoir transféré l'avoir de vieillesse du recourant, sans toutefois être en mesure de préciser auprès de quelle institution, l'intéressé considère que l'absence de preuve doit être supportée par celle-ci et qu'il a dès lors droit au versement de l'avoir de vieillesse correspondant aux cotisations acquittées durant la période d'affiliation auprès d'elle.
6.2. Conformément à l'art. 73 al. 2, 2e phrase, LPP, la maxime inquisitoire est applicable à la procédure en matière de prévoyance professionnelle. En vertu de ce principe, il appartient au juge d'établir d'office l'ensemble des faits déterminants pour la solution du litige et d'administrer, le cas échéant, les preuves nécessaires. En principe, les parties ne supportent ni le fardeau de l'allégation ni celui de l'administration des preuves. Cette maxime doit cependant être relativisée par son corollaire, soit le devoir de collaborer des parties, lequel comprend l'obligation d'apporter, dans la mesure où cela est raisonnablement exigible, les preuves commandées par la nature du litige et des faits invoqués. Si le principe inquisitoire dispense les parties de l'obligation de prouver, il ne les libère pas du fardeau de la preuve, dans la mesure où, en cas d'absence de preuve, c'est à la partie qui voulait en déduire un droit d'en supporter les conséquences, sauf si l'impossibilité de prouver un fait peut être imputée à la partie adverse. Cette règle ne s'applique toutefois que s'il se révèle impossible, dans le cadre de la maxime inquisitoire et en application du principe de la libre appréciation des preuves, d'établir un état de fait qui correspond, au degré de la vraisemblance prépondérante, à la réalité (<ref-ruling> consid. 5.2 p. 185 s. et les références).
En ce qui concerne le fardeau de la preuve, en vertu de l'<ref-law>, qui s'applique également en droit public (<ref-ruling> consid. 6 p. 222 s.), chaque partie doit, si la loi ne prescrit le contraire, prouver les faits qu'elle allègue pour en déduire son droit, si bien que la partie qui fait valoir une créance doit prouver les faits justifiant celle-ci, le fardeau de la preuve des faits libératoires incombant en revanche à la partie qui conclut au rejet de la créance (<ref-ruling> consid. 3.1 p. 323; cf. aussi arrêt 9C_634/2014 du 31 août 2015 consid. 6.3.4).
6.3. Il n'est pas contesté par les parties qu'en vertu de l'art. 42 al. 1 let. b du Décret, le recourant avait acquis une créance à l'égard de l'intimée, en raison de la fin des rapports de service entraînant sa sortie de la Caisse de pensions au 31 octobre 1984. Pour la libération de cette créance au sens de l'art. 43 du Décret, il lui incombait de choisir entre les différentes possibilités prévues, ce qu'il avait été invité à faire par courrier de l'intimée du 11 février 1985. Selon les constatations de la juridiction cantonale, qui ne sont pas remises en cause et lient le Tribunal fédéral (consid. 2 supra), il n'est pas établi que le recourant a expressément procédé à un tel choix et, le cas échéant, s'il en a fait part à l'intimée. Or dans la mesure où l'exercice du choix par l'assuré n'est pas établi, il y a lieu de retenir que le recourant ne s'était pas déterminé, de sorte que la Caisse de pensions aurait en principe été tenue de transférer automatiquement le montant de la créance sur un compte bloqué auprès d'elle (art. 43 al. 2, seconde phrase, du Décret). De l'avis des premiers juges, l'existence d'un tel compte bloqué n'a cependant pas été établie, au degré de la vraisemblance prépondérante, pas plus que la conclusion d'une police de libre passage avec une tierce institution.
Dans ces circonstances, on constate que le recourant a toutefois allégué et démontré, au degré de la preuve requise, les faits justifiant l'existence d'une créance à l'encontre de la Caisse de pensions. En revanche, celle-ci n'a pas établi avoir exécuté ladite créance conformément aux modalités prévues par le Décret. Alléguant, pour se libérer, avoir transféré l'avoir en cause à un tiers, l'intimée n'a pas été en mesure de démontrer à quelle institution elle avait versé la prestation de libre passage de l'assuré. Or la preuve de l'exécution correcte de l'obligation contractuelle ou réglementaire incombe au débiteur. Ainsi, selon la jurisprudence, il appartient à l'institution de prévoyance d'apporter la preuve de l'exécution correcte de son obligation de fournir une prestation et c'est en règle générale à elle de supporter le risque du paiement à un tiers non autorisé (arrêts 9C_634/2014 précité consid. 3.1 et les références; 9C_137/2012 du 5 avril 2012 consid. 4). S'il ne s'agit pas en l'occurrence d'un versement à un tiers non autorisé mais de l'absence de preuve du transfert allégué, l'intimée n'est cependant pas parvenue à démontrer qu'elle a valablement exécuté la créance du recourant à son encontre.
6.4. En conséquence, le raisonnement des premiers juges selon lequel les conséquences de l'absence de preuve devaient être supportées par le recourant, comme aucune violation de l'obligation de conserver les pièces ne pouvait être reprochée à la Caisse de pensions ne peut être suivi. A cet égard, les dispositions relatives à la conservation des pièces, qui ont été introduites dans l'OPP 2 au 1er janvier 2005 (cf. art. 27i à 27k OPP 2; Modification de l'OPP 2 du 18 août 2004, RO 2004 4279 4653), n'ont pas d'effet sur la répartition du fardeau de la preuve; il n'en résulte pas, en particulier, qu'une institution de prévoyance serait dispensée d'apporter la démonstration de ses allégations. Le but de ces normes d'exécution est de garantir une correcte application des règles de la prescription et de permettre aux assurés de faire valoir leurs droits (Message du 1er mars 2000 relatif à la révision de la loi fédérale sur la prévoyance professionnelle vieillesse et survivants et invalidité [LPP] [1ère révision LPP], FF 2000 2495, p. 2539, ch. 2.9.4.1 et 2.9.4.2). Comme la Cour de céans a déjà eu l'occasion d'en juger, lorsqu'une preuve ne peut être rapportée qu'avec des documents originaux et que l'institution de prévoyance ne parvient pas à produire lesdits documents, elle doit alors supporter les conséquences de l'absence de preuve (arrêt 9C_634/2014 précité consid. 6.3.2 et 6.3.4 concernant l'art. 27i al. 2 OPP 2, en relation avec l'<ref-law>).
6.5. En conclusion, en tant qu'elle a considéré que le recourant n'était plus en mesure de faire valoir ses droits s'agissant de l'avoir de vieillesse correspondant aux cotisations acquittées durant sa période d'affiliation auprès de la Caisse de pensions entre le 22 octobre 1979 et le 31 octobre 1984, la juridiction cantonale n'a pas appliqué correctement les règles découlant de l'<ref-law>. Le recourant a droit au versement de la créance au sens de l'art. 42 al. 1 let. b du Décret. Le recours est bien fondé sur ce point.
7.
En ce qui concerne le montant de la créance alléguée par le recourant, la juridiction cantonale a constaté que l'avoir de vieillesse accumulé auprès de la Caisse de pensions s'élevait à 16'983 fr. Niant le droit du recourant à cette créance, les premiers juges n'ont pas examiné s'il pouvait prétendre des intérêts sur cette somme et, le cas échéant, à quel taux. Le recourant se prévaut à cet égard de l'art. 12 OPP 2, qui prévoit les intérêts minimaux à créditer sur l'avoir de vieillesse au sens de l'<ref-law>. Dès lors que le recourant n'était plus affilié à la Caisse de pensions à partir du 1er novembre 1984 et que sa créance aurait dû être transférée sur un compte bloqué ouvert auprès de l'intimée (consid. 6.3 supra), on peut douter que la disposition de l'OPP 2 invoquée - entrée en vigueur au 1er janvier 1985 - soit applicable. En l'absence de toute considération cantonale sur ce point, il n'y a pas lieu de se prononcer plus avant à ce sujet, mais de renvoyer la cause au Tribunal cantonal pour qu'il examine la question des intérêts après avoir donné l'occasion aux parties de se déterminer à cet égard, puis fixe le montant au paiement duquel l'intimée sera tenue en faveur du recourant.
8.
En conséquence de ce qui précède, la conclusion subsidiaire du recourant est bien fondée.
9.
L'intimée, qui succombe, supportera les frais de la procédure (<ref-law>), ainsi que les dépens que peut prétendre le recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis et la décision du Tribunal cantonal de la République et canton du Jura, Cour des assurances, du 27 février 2020 est annulée. La cause est renvoyée audit Tribunal pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 25 février 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud