Faits : A. Le 16 juin 2005, A._ s'est porté caution de l'entreprise C._ Sàrl pour la dette contractée par celle-ci envers la Banque B._ (ci-après: la Banque) résultant d'un prêt hypothécaire de 50'000 fr., et ce jusqu'à concurrence de 60'000 fr. B. Le 1er juillet 2015, la Banque a fait notifier à la caution un commandement de payer la somme de 60'000 fr. Par décision du 4 février 2016, la Juge civile du Tribunal de première instance du canton du Jura a levé provisoirement l'opposition à hauteur de 35'124 fr., avec intérêt à 5% l'an dès le 1er juillet 2015. Statuant par arrêt du 19 avril 2016, la Cour civile du Tribunal cantonal du canton du Jura a rejeté le recours du poursuivi contre cette décision. C. Par acte posté le 23 mai 2016, le poursuivi exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 19 avril 2016. Il conclut, principalement, à l'annulation de celui-ci et, subsidiairement, demande de surcroît le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Des observations n'ont pas été requises.