Faits : A. B._ (1930) est décédé le 3 juillet 2015. Ses héritiers légaux et réservataires sont ses trois enfants, E._, D._ et C._. Par testament authentique du 28 juin 2013, il a désigné Me A._ en qualité d'exécuteur testamentaire. B. Le 29 juin 2017, C._ et D._ ont introduit une requête en surveillance de l'exécuteur testamentaire, dans laquelle ils ont conclu principalement à ce qu'un délai soit imparti à celui-ci pour présenter un rapport des opérations concrètes effectuées et à venir, pour établir l'inventaire de la succession de B._, pour calculer la masse des réserves et pour produire les comptes de la succession au 31 décembre 2016. A titre subsidiaire, ils ont demandé la révocation de l'exécuteur testamentaire. Par ordonnance du 15 novembre 2017, la Juge administrative du Tribunal de première instance du canton du Jura (ci-après: la Juge administrative) a appelé en cause E._. Celle-ci ne s'est pas déterminée dans le délai imparti. Par décision du 8 mars 2018, la Juge administrative a partiellement admis la requête en surveillance de l'exécuteur testamentaire. Elle a imparti à celui-ci un délai de dix jours dès l'entrée en force de la décision pour dresser un rapport des opérations concrètes à effectuer pour établir l'inventaire et le calcul de la masse des réserves, ainsi qu'un délai de dix jours pour remettre à C._ et D._ les comptes de la succession au 31 décembre 2016, respectivement au 31 décembre 2017. La requête a été rejetée pour le surplus. Statuant par arrêt du 11 décembre 2018, la Cour administrative du Tribunal cantonal du canton du Jura a rejeté le recours interjeté par l'exécuteur testamentaire contre cette décision. C. Par mémoire du 15 janvier 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de la décision cantonale et à sa réforme, en ce sens que la requête introduite par les intimés est rejetée. Le recourant a adressé au Tribunal fédéral une écriture complémentaire accompagnée de pièces le 7 février 2019. Des observations n'ont pas été requises. D. Par ordonnance présidentielle du 6 février 2019, la requête d'effet suspensif du recourant a été rejetée.