Faits :
A.
Par décision du 11 septembre 2017, l'Autorité intercommunale de protection de l'enfant et de l'adulte de Martigny, Bovernier, Martigny-Combe, Saillon et Trient (ci-après : l'APEA) a institué une curatelle de portée générale au sens de l'<ref-law> en faveur de A._ et lui a désigné comme curateur C._.
Le 2 juillet 2018, ce dernier a été relevé de ses fonctions avec effet immédiat et B._ nommée comme curatrice de son fils A._.
Statuant le 18 février 2019, l'APEA a rejeté la requête de A._ tendant à la désignation de D._ en qualité de curateur de portée générale. Elle a par ailleurs notamment relevé B._ de ses fonctions de curatrice et désigné à sa place E._ dont l'entrée en fonction a été arrêtée au 1 er avril 2019.
Le 22 mai 2019, le Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais a déclaré irrecevable le recours interjeté par A._ et B._ le 10 avril précédent.
B.
Par écriture du 24 juin 2019, A._ et B._ exercent un recours en matière civile au Tribunal fédéral. Ils concluent, principalement, à la désignation de D._ en qualité de curateur de portée générale et, subsidiairement, au renvoi pour nouvelle décision, après audition préalable de D._ par le Tribunal cantonal. Ils demandent qu'une " équitable indemnité à titre de dépens allouée [en leur faveur], pour leurs frais d'intervention dans la présente procédure de recours " ainsi que " tous les frais de décisions et de procédures " soient mis à la charge du " fisc ".
C.
Par ordonnance du 25 juillet 2019, le Président de la II e Cour de droit civil a attribué l'effet suspensif au recours.
D.
Le 20 août 2019, le conseil des recourants a informé le Tribunal fédéral qu'il ne représentait plus ces derniers.

Considérant en droit :
1.
L'arrêt entrepris déclare irrecevable le recours interjeté contre une décision par laquelle l'APEA a refusé de nommer comme curateur la personne désignée dans la requête, pour le motif que les recourants n'avaient pas respecté les exigences légales cantonales qui leur imposaient d'entreprendre la nomination du curateur devant l'APEA avant de former recours auprès du Tribunal cantonal.
1.1. Le recours a été déposé dans le délai légal (<ref-law>) contre une décision finale (<ref-law>) rendue en matière de protection de l'adulte (<ref-law>) par un tribunal supérieur ayant statué sur recours (art. 75 al. 1 et 2 LTF). La cause n'étant pas pécuniaire, il est par ailleurs ouvert indépendamment de la valeur litigieuse (arrêt 5A_645/2013 du 6 décembre 2013 consid. 1 et la jurisprudence citée).
1.2. La recevabilité du recours suppose encore que la partie qui saisit le Tribunal fédéral possède la qualité pour recourir, plus spécialement qu'elle soit particulièrement touchée par la décision attaquée et ait un intérêt digne de protection à son annulation ou sa modification (<ref-law>). En l'occurrence, le recours est interjeté par la personne concernée et la mère de cette dernière qui a été relevée de ses fonctions de curatrice par la décision de l'APEA. Les recourants critiquent le refus du Juge unique d'entrer en matière sur leur recours cantonal et demandent principalement la désignation du curateur désigné. La question de leur qualité pour agir respective peut rester ouverte en l'espèce, le recours devant être rejeté dans la mesure de sa recevabilité pour les motifs qui suivent.
1.3. Autant que l'on puisse comprendre le chef de conclusions tendant à ce que le " fisc " prenne en charge l'indemnité pour les dépens et les frais de la procédure comme une demande d'assistance judiciaire, celle-ci devrait être rejetée, les recourants ne démontrant pas que les conditions de son octroi (cf. <ref-law>) seraient remplies. S'ils entendaient en revanche que les frais et dépens soient mis à la charge de l'Etat, leur demande tomberait à faux vu l'issue du présent recours (cf. infra).
2.
Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'<ref-law>, il n'examine en principe que les griefs soulevés. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). Le recourant doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 précité). Le Tribunal fédéral ne connaît en outre de la violation des droits fondamentaux que si le grief a été expressément soulevé et motivé de façon claire et détaillée par le recourant, en indiquant précisément quelle disposition constitutionnelle ou légale a été violée et en démontrant, par une argumentation précise, en quoi consiste la violation (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.3; <ref-ruling> consid. 1.2, 397 consid. 1.4 in fine). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4).
La violation du droit cantonal ne constitue pas un motif de recours en tant que tel (cf. <ref-law>). La partie recourante peut uniquement se plaindre de ce que l'application du droit cantonal par l'autorité précédente consacre une violation du droit fédéral au sens de l'<ref-law>, en particulier qu'elle est arbitraire (art. 9 Cst.; <ref-ruling> consid. 3.3.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.3), grief qui doit être motivé conformément au principe d'allégation (<ref-law>).
3.
Les recourants reprochent au Juge unique d'avoir violé leur droit d'être entendus, plus particulièrement leur droit à une décision motivée, en se bornant à un " argumentaire " " de 5 lignes ". Le seul fait que l'autorité cantonale ait motivé brièvement sa décision ne constitue pas une violation de la garantie constitutionnelle posée à l'art. 29 al. 2 Cst. (cf. <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.2). Il ressort, de surcroît, de l'argumentation des recourants fondée sur l'arbitraire (cf. infra, consid. 4) que ces derniers ont compris le sens et la portée de l'arrêt déféré.
4.
Les recourants font grief au Juge unique d'avoir interprété l'art. 30 al. 3 de la loi valaisanne d'application du code civil suisse du 24 mars 1998 (LACC/VS; RS/VS 211.1) de " manière erronée et arbitraire ". Ils soutiennent que le recours à l'APEA prévu par cette disposition - dont ils affirment qu'elle serait une " Kannvorschrift " - est une voie de recours facultative, non obligatoire, offerte à tout intéressé qui entend contester la nomination d'un curateur. Ils sont d'avis que, si le législateur valaisan avait voulu " contraindre un pupille à saisir en aval l'APEA, [...] il l'aurait exprimé expressément de la sorte ". Ils allèguent en outre qu'il était inutile, après le prononcé du 18 février 2019 de l'APEA, de réentendre le curateur proposé dès lors que ce dernier avait déjà été entendu et " n'aurait que confirmé ce qui avait déjà été dit ", raison pour laquelle ils ne se sont pas adressés à l'APEA mais " ont tout simplement usé de la possibilité légale [...] de soumettre la question directement au Tribunal cantonal ".
4.1. Le Juge unique a relevé que tout intéressé peut contester la nomination d'un curateur dans les dix jours à partir de celui où il en a eu connaissance si elle est jugée contraire aux exigences de la loi (art. 30 al. 3 LACC/VS), que l'autorité de protection prend alors une nouvelle décision qui est sujette à recours auprès du Tribunal cantonal (art. 30 al. 4 et 114 al. 1 let. c LACC/VS), que la dernière page de la décision entreprise mentionnait, dans le cas particulier, expressément la voie de recours spécifique prévue à l'art. 30 al. 3 LACC/VS et que, dans leur recours, les recourants ne contestaient que la désignation du curateur de portée générale. Il a considéré que, bien qu'assistés par un avocat, ils n'avaient ainsi pas respecté les exigences légales cantonales qui leur imposaient d'entreprendre cette nomination devant l'APEA, avant de former recours auprès dudit Tribunal et que, partant, leur recours était manifestement irrecevable.
4.2. Les recourants fondent principalement leur opinion sur le fait que le texte légal emploie le mot " peut ". Cet élément ne permet objectivement pas de taxer d'insoutenable l'interprétation de l'autorité cantonale selon laquelle l'art. 30 al. 3 LACC/VS imposait aux recourants d'entreprendre la nomination du curateur devant l'APEA. Le fait qu'un texte légal soit rédigé sous une forme potestative ne permet pas d'inférer automatiquement une liberté d'appréciation. En l'occurrence, il suffit de se référer à la note marginale de l'art. 30 LACC/VS qui porte le titre " Reconsidération de la nomination et recours ", cette dernière voie de droit au Tribunal cantonal étant ouverte contre la nouvelle décision de l'APEA (al. 4), pour comprendre que les recourants - qui étaient représentés par un avocat - ne pouvaient faire l'économie du recours à cette dernière autorité, voie de droit qui était au demeurant expressément mentionnée dans la décision du 18 février 2019. S'ils se réfèrent par ailleurs à la volonté du législateur valaisan, les recourants ne citent toutefois aucune source parlementaire qui étaierait leur interprétation qui reste purement hypothétique.
5.
Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les recourants, qui succombent, supporteront les frais de la procédure, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens à l'autorité de protection pour sa détermination sur la requête d'effet suspensif (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux recourants, à l'Autorité intercommunale de protection de l'enfant et de l'adulte de Martigny, Bovernier, Martigny-Combe, Saillon et Trient, et au Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 25 septembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Jordan