Faits :
A.
Le 16 juin 2005, A._ s'est porté caution de l'entreprise C._ Sàrl pour la dette contractée par celle-ci envers la Banque B._ (ci-après: la Banque) résultant d'un prêt hypothécaire de 50'000 fr., et ce jusqu'à concurrence de 60'000 fr.
B.
Le 1er juillet 2015, la Banque a fait notifier à la caution un commandement de payer la somme de 60'000 fr.
Par décision du 4 février 2016, la Juge civile du Tribunal de première instance du canton du Jura a levé provisoirement l'opposition à hauteur de 35'124 fr., avec intérêt à 5% l'an dès le 1er juillet 2015.
Statuant par arrêt du 19 avril 2016, la Cour civile du Tribunal cantonal du canton du Jura a rejeté le recours du poursuivi contre cette décision.
C.
Par acte posté le 23 mai 2016, le poursuivi exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 19 avril 2016. Il conclut, principalement, à l'annulation de celui-ci et, subsidiairement, demande de surcroît le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
Des observations n'ont pas été requises.

Considérant en droit :
1.
1.1. Le recours a été déposé en temps utile (<ref-law>) contre une décision finale (<ref-law>; <ref-ruling> consid. 1.1) rendue en matière de poursuites pour dettes (<ref-law>, en relation avec l'<ref-law>) par le tribunal supérieur d'un canton ayant statué sur recours (art. 75 al. 1 et 2 LTF). La valeur litigieuse requise est atteinte (<ref-law>; <ref-ruling> consid. 1.3). Le recourant a en outre qualité pour recourir (<ref-law>).
1.2. Le recours en matière civile peut être formé pour violation du droit fédéral, tel qu'il est circonscrit par les art. 95 et 96 LTF. La décision en matière de mainlevée, définitive ou provisoire, n'est en effet pas une décision de mesures provisionnelles au sens de l'<ref-law>, contre laquelle seule la violation des droits constitutionnels peut être invoquée (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.5). Le Tribunal fédéral applique le droit d'office (<ref-law>). Cependant, vu l'exigence de motivation contenue à l'<ref-law>, il n'examine en principe que les griefs soulevés en lien avec les conclusions formulées; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques qui peuvent se poser, lorsqu'elles ne sont plus discutées devant lui (<ref-ruling> consid. 2). Le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si de tels griefs ont été invoqués et motivés par la partie recourante conformément au principe d'allégation (<ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés d'une manière claire et détaillée (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3.3; <ref-ruling> consid. 1.2, 397 consid. 1.4 in fine). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les références).
1.3. Le Tribunal fédéral statue sur la base des faits constatés dans la décision attaquée (<ref-law>). Si le recourant entend s'en écarter, il doit expliquer de manière circonstanciée en quoi ils ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 1.2.2) ou en violation du droit au sens de l'<ref-law>, et en quoi la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Une critique de fait qui ne satisfait pas aux exigences de motivation de l'<ref-law> (cf. supra consid. 1.2) est irrecevable (ATF <ref-ruling> consid. 1.4.3). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1).
1.4. Le recours en matière civile étant un recours en réforme (cf. <ref-law>), la partie recourante doit en principe prendre des conclusions sur le fond du litige et non se borner, comme en l'espèce, à conclure à l'annulation de l'arrêt déféré et/ou au renvoi de la cause à l'autorité précédente (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1). Vu l'ensemble du dossier de la cause, il appert cependant que le recours tend au rejet de la requête de mainlevée provisoire de l'opposition. Le défaut de conclusions réformatoires ne fait donc pas obstacle à la recevabilité du recours (<ref-ruling> consid. 2).
2.
Le recourant se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits. Il reproche à l'autorité cantonale d'avoir admis qu'il était vraisemblable que, par acte notarié du 16 juin 2005, il avait cautionné le prêt hypothécaire de 250'000 fr. des 6 et 30 juin 2005 invoqué par la poursuivante, et non pas uniquement le prêt de 50'000 fr. du 7 juin 2005.
2.1. L'autorité cantonale a considéré, en substance, que par l'acte du 16 juin 2005, le recourant s'était porté caution, envers la débitrice principale, d'une dette hypothécaire de 50'000 fr. contractée le 7 juin 2005. Ce cautionnement était donné pour un temps illimité et garantissait les engagements complets pris par la débitrice principale jusqu'à extinction du compte pour le montant qui serait dû en capital, intérêts ainsi que tous accessoires conventionnels et légaux jusqu'à concurrence de 60'000 fr. La volonté du poursuivi ressortait ainsi expressément de l'acte de cautionnement, à savoir se porter caution d'une dette principale de 50'000 fr. jusqu'à hauteur de 60'000 fr. La poursuivante avait produit en première instance un contrat de prêt hypothécaire variable de 250'000 fr. établi le 6 juin 2005 et signé par la débitrice principale le 30 juin 2005. Ce contrat prévoyait une subdivision du montant du prêt en trois parties, à savoir 150'000 fr., 50'000 fr. et 50'000 fr., soumises à des taux d'intérêts différents. L'acte de cautionnement et le prêt hypothécaire concernaient ainsi une dette contractée par un même débiteur à l'égard du même créancier. La nature de la créance, à savoir un prêt hypothécaire, était de plus identique dans les deux actes. Enfin, les époques auxquelles ceux-ci avaient été établis concordaient. Sur le vu de l'ensemble de ces éléments, il était établi, sous l'angle de la vraisemblance, que l'acte cautionné par le poursuivi était bien le prêt hypothécaire des 6 et 30 juin 2015, lequel constituait une reconnaissance de dette du débiteur principal permettant la poursuite de la caution solidaire. La poursuivante avait ainsi suffisamment démontré l'existence de sa prétention.
2.2. Les critiques du recourant, essentiellement appellatoires, sont impropres à démontrer l'arbitraire dans l'appréciation des preuves et l'établissement des faits à laquelle s'est livrée la cour cantonale. En effet, il se contente de procéder à sa propre appréciation des documents produits, invoquant une discordance entre les dates et les montants indiqués sur ceux-ci. Par cette argumentation, il n'établit pas en quoi l'opinion de l'autorité cantonale, selon laquelle il était vraisemblable que l'acte cautionné par le recourant consistait dans le prêt hypothécaire des 6 et 30 juin 2005, serait manifestement insoutenable. A ce propos, il n'est pas décisif que l'acte de cautionnement indique un prêt hypothécaire du 7 juin 2005, alors que le contrat invoqué par la poursuivante a été établi le 6 juin 2005 et signé par la débitrice principale le 30 juin 2005. Nonobstant cette différence de dates - 7 juin au lieu de 6 juin 2005 -, l'autorité précédente disposait de suffisamment d'éléments concordants pour pouvoir retenir, sans arbitraire, qu'il s'agissait bien de la même dette (cf. STAEHELIN, in Basler Kommentar, SchKG I, 2e éd., 2010, n° 134 ad <ref-law>). Il importe également peu que la débitrice principale ait finalement bénéficié d'un prêt de 250'000 fr. au lieu de 50'000 fr., comme mentionné dans l'acte de cautionnement. A cet égard, les juges précédents ont estimé que le débiteur principal avait aggravé la situation de la caution, en sorte que l'extension de la dette n'était pas opposable à celle-ci. Or, le recourant ne critique pas valablement cette appréciation. Il se limite à soutenir qu'il était contradictoire de retenir, d'une part, que l'acte cautionné était le prêt hypothécaire des 6 et 30 juin 2005 tout en admettant, d'autre part, qu'il n'avait pas la volonté de se porter garant de la totalité de la dette de 250'000 fr., en sorte qu'on était en présence d'un cautionnement partiel. Ce faisant, il ne démontre aucun arbitraire. Au demeurant, contrairement à ce qu'il prétend, les juges précédents ont retenu qu'il ne s'agissait pas d'un cautionnement partiel.
Autant qu'il est suffisamment motivé (<ref-law>), le grief est par conséquent mal fondé.
3.
Le recourant soulève aussi une violation des art. 251 let. a et 254 al. 1 CPC. Il soutient que l'intimée n'a pas rapporté la preuve de l'existence d'un contrat hypothécaire de 50'000 fr. daté du 7 juin 2015 entre elle et la débitrice principale; or seul ce prêt aurait été cautionné par lui. A l'appui de ce grief, il réitère ses critiques s'agissant des discordances de dates et de montants entre le prêt de 50'000 fr. du 7 juin 2005, dont il est fait état dans l'acte notarié du 16 juin 2005, et le contrat de prêt des 6 et 30 juin 2005 dont se prévaut l'intimée.
A cet égard, l'<ref-law> aurait également été enfreint par l'autorité cantonale. A l'appui de cette critique, le recourant expose que par l'acte du 16 juin 2005, il s'est porté caution d'une hypothèque de 50'000 fr. contractée le 7 juin 2005. L'intimée n'ayant pas établi l'existence de la dette principale mentionnée dans le cautionnement, celle-ci ne serait pas suffisamment déterminable, voire pas du tout déterminée.
3.1.
3.1.1. Le contentieux de la mainlevée de l'opposition, soumis à la procédure sommaire (<ref-law>), est un «Urkundenprozess» (cf. <ref-law>), dont le but n'est pas de constater la réalité d'une créance, mais l'existence d'un titre exécutoire; le juge de la mainlevée provisoire examine uniquement la force probante du titre produit par le créancier poursuivant, sa nature formelle, et non pas la validité de la prétention déduite en poursuite; il attribue force exécutoire à ce titre à moins que le poursuivi ne rende immédiatement vraisemblables ses moyens libératoires (<ref-ruling> consid. 4.1.1; arrêt 5A_892/2015 du 16 février 2016 consid. 4.3.1 et la référence), en principe par titre (cf. <ref-law>; arrêt 5A_467/2015 du 25 août 2016 consid. 4 et les références). Lorsque le juge statue sous l'angle de la simple vraisemblance, il doit, en se fondant sur des éléments objectifs, acquérir l'impression que les faits allégués se sont produits, mais sans exclure pour autant la possibilité qu'ils se soient déroulés autrement (<ref-ruling> consid. 4.1.2; arrêt 5A_748/2015 du 3 août 2016 consid. 3.5.2; STAEHELIN, op. cit., n° 87 ss ad <ref-law> et les citations). Le poursuivi peut invoquer tous les moyens de droit civil - exceptions ou objections - qui infirment la reconnaissance de dette (<ref-ruling> consid. 4.2.1; 125 III 501 consid. 3b; arrêt 5A_892/2015 du 16 février 2016 consid. 4.3.1 précité), en particulier le vice de forme qui affecte son obligation (cf. par ex.: <ref-ruling> [en matière de cautionnement solidaire]).
3.1.2. Le cautionnement est un contrat par lequel une personne s'engage envers le créancier à garantir le paiement de la dette contractée par le débiteur. Il ne peut exister que sur une obligation valable. Une obligation future ou conditionnelle peut être garantie pour l'éventualité où elle sortirait effet (art. 492 al. 1 et 2 CO). L'objet du cautionnement porte sur la garantie d'une créance principale. Le cautionnement se caractérise ainsi par sa nature accessoire: l'obligation de la caution dépend de l'existence et du contenu de la dette principale, laquelle doit être déterminée ou, en tout cas, déterminable dès la conclusion du contrat. Dire quelle est la créance garantie est une question d'interprétation du contrat (<ref-ruling> consid. 3a et les références; arrêt 4C.293/2002 du 28 mars 2003 consid. 2.1).
3.2. Pour les motifs qui ont été exposés précédemment (cf. supra consid. 2), le recourant n'a pas démontré que la constatation de la cour cantonale, selon laquelle l'acte cautionné était le prêt hypothécaire des 6 et 30 juin 2005, serait insoutenable. Le grief de violation des art. 251 let. a et 254 al. 1 CPC tombe dès lors à faux. Il en va de même du moyen tiré de l'<ref-law>.
4.
4.1. Le recourant se plaint en outre d'une violation de l'<ref-law>. Il soutient que l'acte de cautionnement du 16 juin 2005 est nul, dans la mesure où il ne pouvait se faire une idée exacte du genre et de l'étendue de la garantie qu'il assumait. Comme la poursuivante lui oppose une créance principale, à savoir le prêt hypothécaire des 6 et 30 juin 2005 de 250'000 fr., en lieu et place du prêt hypothécaire du 7 juin 2005 de 50'000 fr., l'étendue et la portée de sa garantie seraient augmentées sans qu'il l'ait voulu ni accepté. En admettant la validité de l'acte de cautionnement litigieux et en considérant qu'il s'agit d'un cautionnement partiel, la cour cantonale aurait par conséquent violé la disposition précitée.
4.2. Sur ce point, l'autorité précédente a retenu que le recourant avait la volonté de garantir une dette principale de 50'000 fr., à concurrence d'une somme de 60'000 fr. Le montant du prêt cautionné a ainsi été déterminé et le recourant en mesure, comme l'a estimé la cour cantonale, de se faire une idée exacte du genre et de l'étendue de la garantie quand il s'est engagé. Dès lors, le cautionnement litigieux - qui au reste n'a pas été considéré comme un cautionnement partiel (cf. supra consid. 2.2 in fine) - ne saurait être considéré comme un engagement excessif au sens de l'<ref-law>.
5.
5.1. En dernier lieu, le recourant soulève la violation de l'art. 500 al. 1 in fine CO. Il prétend qu'en vertu de cette règle, l'autorité cantonale aurait dû admettre que son obligation maximale de 60'000 fr. «devait être réduite du montant équivalent au prix de vente d'une surface de 614 m2 pour le montant de 30'000 fr. acquis[e] par [un tiers] et par le produit net de la vente forcée de l'immeuble du 28 avril 2016 par 40'908 fr. 60». Il soutient en outre que «par le biais de ces deux opérations, l'intimée a obtenu un montant de 70'908 fr. 60 (30'000 fr. + 40'908 fr. 60) », à savoir «supérieur au montant de 60'000 fr. dont il est fait état dans l'acte de cautionnement du 16 juin 2005 [...]».
5.2. L'autorité cantonale a considéré que, selon la disposition précitée, lorsque la caution est une personne physique, le montant total dont elle est tenue diminue, dans tous les cas, au moins dans la même proportion que la dette. L'extension du prêt de 50'000 fr. à 250'000 fr. n'étant pas opposable au poursuivi, la somme garantie par la caution devait être réduite dans la même proportion que la dette principale, à savoir de 41,46%, ce pourcentage n'étant au demeurant pas contesté.
Ce raisonnement ne prête pas le flanc à la critique. Il résulte en effet de la décision de première instance, à laquelle renvoie l'arrêt attaqué, que la dette initiale a été réduite dans la proportion indiquée (250'000 fr. [dette initiale] - 64'650 fr. [amortissement] - 38'996 fr. 40 [part perçue par la partie requérante sur le prix de vente aux enchères de l'immeuble mis en gage pour le prêt] = une réduction de 41,46%). Outre que le recourant n'a pas contesté ce pourcentage en instance cantonale, les montants dont il se prévaut, soit 30'000 fr. équivalent au prix de vente d'une surface de 614 m2 acquis[e] par [un tiers] et 40'908 fr. 60 correspondant au produit net de la vente forcée de l'immeuble du 28 avril 2016, ne ressortent pas de l'arrêt attaqué, sans que le recourant ne se plaigne d'arbitraire à cet égard. Fondé sur des faits qui n'ont pas été constatés, partant irrecevables, le grief est donc infondé, sans qu'il soit besoin de l'examiner plus avant.
6.
En conclusion, le recours ne peut qu'être rejeté, dans la mesure où il est recevable, aux frais de son auteur (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée, qui n'a pas été invitée à répondre.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour civile du Tribunal cantonal du canton du Jura.
Lausanne, le 21 septembre 2016
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Mairot