Faits : A. A.a. Par décision du 24 février 2016, la Direction de la police et des affaires militaires du canton de Berne (ci-après: POM) a notamment reconnu l'acte de naissance établi le 27 novembre 2012 par le Bureau de l'état civil de la Direction de la Justice de l'arrondissement U._ (Ukraine) dans la mesure où il établit l'existence d'un lien de filiation entre A.A._, né en 1968, et C.A._, née en 2012. La POM a par ailleurs prié le Service de l'Etat civil et des naturalisations (ci-après: SECN) d'inscrire au registre de l'état civil, outre le lien de filiation susmentionné, les indications concernant l'ascendance (père génétique (A.A._); mère génétique (donneuse d'ovule anonyme); mère porteuse (D._, née en 1990)). A.b. Le 11 avril 2016, A.A._, C.A._ et B.A._ ont recouru contre cette décision auprès de la Cour suprême du canton de Berne (ci-après: Cour suprême). Ils ont conclu à sa réforme en ce sens notamment que l'acte de naissance du 27 novembre 2012 est reconnu dans son intégralité, soit également en tant qu'il constate le lien de filiation entre B.A._ et C.A._. B. B.a. Par ordonnance du 20 avril 2016, le Juge instructeur de la 2e Chambre civile de la Cour suprême a imparti aux recourants un délai de 10 jours pour verser une avance de frais de 2'000 fr. et les a rendus attentifs au fait que dès que l'avance de frais serait versée, la question du respect du délai pour recourir serait examinée à titre préliminaire. B.b. Par ordonnance du 29 avril 2016, le Juge instructeur a constaté que l'avance de frais requise avait été versée en temps utile et a constaté qu'il apparaissait que le recours avait été posté le 11 avril 2016, soit 14 jours après la fin du délai pour former recours selon l'art. 42 al. 1 et 2 de la loi du 23 mai 1989 sur la procédure et la juridiction administratives (LPJA; RSB 155.21) et qu'il était dès lors envisagé de ne pas entrer en matière sur le recours en raison de sa tardiveté. Un délai de 5 jours a été imparti aux recourants pour d'éventuelles observations. B.c. Le 9 mai 2016, les recourants ont conclu, à titre principal, au constat que le recours avait été formé dans le délai utile et, à titre subsidiaire, à la restitution du délai de recours. B.d. Par décision du 30 juin 2016, la Cour suprême du canton de Berne n'est pas entrée en matière sur le recours du 11 avril 2016 et a rejeté la requête de restitution de délai formée le 9 mai 2016. C. Par acte posté le 5 septembre 2016, A.A._, C.A._ et B.A._ exercent un recours en matière civile au Tribunal fédéral contre la décision du 30 juin 2016. Ils concluent à son annulation et au renvoi de la cause à l'autorité précédente pour décision sur le fond. Des observations n'ont pas été requises.