Faits : A. En date du 3 août 2017, les ressortissants indiens A._ et B._, représentés par des avocats serbes et des conseils indiens, ont introduit une procédure d'arbitrage à l'encontre de la République de C._, à la suite d'un différend survenu entre les parties au sujet d'un investissement visé par l'Accord signé le 17 mars 2008 entre la République de D._ et la République de C._. Un Tribunal arbitral de trois membres a été constitué, conformément au Règlement d'arbitrage de la Commission des Nations Unies pour le droit commercial international (CNUDCI), sous l'égide de la Cour permanente d'arbitrage (CPA), et son siège fixé à Genève. L'anglais a été désigné comme langue de l'arbitrage. Le 29 juin 2018, la défenderesse a déposé une réponse préliminaire (" preliminary answer ") à la notice d'arbitrage. Par avis du 12 octobre 2018, les parties ont été invitées à effectuer une première avance de frais de 50'000 dollars étatsuniens (USD) chacune. Le 23 novembre 2018, la défenderesse a réglé le montant de 50'000 USD. Les demandeurs ont versé 20'000 USD le 4 décembre 2018. Le Tribunal arbitral a tenu une première audience procédurale le 5 décembre 2018, au cours de laquelle les demandeurs ont indiqué qu'ils paieraient le solde de l'avance de frais requise d'ici le 7 janvier 2019. Le Tribunal arbitral a rendu, le 5 décembre 2018, une ordonnance de procédure n° 1 dans laquelle il a fixé le calendrier procédural et imparti aux demandeurs un délai au 1er avril 2019 pour déposer leur demande (" Statement of Claim "). Par courrier électronique du 11 janvier 2019, les demandeurs ont informé le Tribunal arbitral qu'ils verseraient le solde de l'avance de frais d'ici le 22 janvier 2019. Le 27 février 2019, le Tribunal arbitral a avisé les parties qu'aucun paiement additionnel n'avait été effectué et a requis que le solde soit réglé dès que possible. Le 25 mars 2019, les demandeurs ont sollicité une prolongation de délai de soixante jours pour déposer leur demande, en invoquant des raisons imprévisibles et soudaines (" unforeseen and unexpected events "). En date du 30 mars 2019, le Tribunal arbitral a accordé aux demandeurs une prolongation de délai de trois semaines pour déposer leur demande. Il leur a également rappelé qu'ils restaient tenus de régler le solde de l'avance de frais. Le 16 avril 2019, les demandeurs ont requis une nouvelle prolongation de délai de soixante jours pour adresser leur demande au Tribunal arbitral, en soulignant que la relation avec leurs conseils avait été sensiblement perturbée en raison de problèmes médicaux touchant l'un des demandeurs. Par ordonnance procédurale no 2 du 14 mai 2019, le Tribunal arbitral a prolongé le délai pour le dépôt de la demande au 15 juillet 2019 et a indiqué aux parties que si le paiement du solde de l'avance de frais n'était pas effectué en temps utile, il en informerait les parties afin que l'une d'entre elles puisse régler le montant dû, faute de quoi la clôture de la procédure serait ordonnée. Le 1er juillet 2019, le Tribunal arbitral a ordonné aux demandeurs de payer le solde de l'avance de frais d'ici au 15 juillet 2019. En date du 12 juillet 2019, le fils des demandeurs, X._ a sollicité, au nom de son père, une nouvelle prolongation des délais pour le dépôt de la demande et le règlement du solde de l'avance de frais, en indiquant que l'état de santé de son père ne lui permettait pas de respecter les délais impartis. Par courrier du 17 juillet 2019, le Tribunal arbitral a indiqué que les faits allégués à l'appui de la demande de prolongation ainsi que les certificats médicaux annexés à celle-ci n'empêchaient pas les demandeurs de se conformer à leurs obligations procédurales. Il a dès lors fixé aux parties un délai échéant le 31 juillet 2019 pour effectuer l'avance de frais requise, faute de quoi il clôturerait la procédure. Le 31 juillet 2019, la défenderesse a transmis au Tribunal arbitral une requête sur les coûts (" Costs Application "), dans laquelle elle a requis la fixation d'un délai de trois semaines pour déposer et motiver sa demande relative aux coûts occasionnés par la procédure arbitrale. Elle a précisé qu'elle n'entendait pas régler le montant de l'avance de frais en souffrance. Par avis du 9 août 2019, les demandeurs ont été invités à fournir leur réponse à la requête sur les coûts d'ici le 6 septembre 2019. Par lettre du 13 août 2019, les conseils indiens ont informé le Tribunal arbitral qu'ils ne représentaient dorénavant plus les demandeurs. Le 20 août 2019, le fils des demandeurs a sollicité une prolongation du délai échéant le 6 septembre 2019 afin de permettre aux demandeurs de faire appel aux services d'un nouvel avocat. Nonobstant l'opposition manifestée par la défenderesse, le Tribunal arbitral a prolongé le délai pour répondre à la requête sur les coûts au 30 septembre 2019. Le 27 septembre 2019, le fils des demandeurs a requis une nouvelle prolongation de délai, en précisant que ceux-ci n'étaient plus représentés par leurs conseils serbes et n'étaient dès lors pas en mesure de respecter le délai expirant le 30 septembre 2019. En date du 4 octobre 2019, le Tribunal arbitral a rejeté la demande de prolongation et invité la défenderesse a déposer son mémoire sur les coûts (" Costs Submission ") d'ici le 25 octobre 2019, les demandeurs pouvant y répondre jusqu'au 15 novembre 2019. Le 18 octobre 2019, les demandeurs ont prié le Tribunal arbitral de suspendre la procédure au lieu de la clôturer. Ce dernier a décidé de ne pas accéder à cette requête. Le 25 octobre 2019, la défenderesse a transmis au Tribunal arbitral son mémoire sur les coûts. Le 14 novembre 2019, les demandeurs ont requis une prolongation du délai pour déposer leur réponse au mémoire sur les coûts. Le lendemain, soit le 15 novembre 2019, le Tribunal arbitral a sollicité l'avis de la défenderesse sur cette requête. Le même jour, le fils des demandeurs a adressé au Tribunal arbitral une réponse au mémoire sur les coûts. Le 4 décembre 2019, la défenderesse a déposé une réplique spontanée. Par ordonnance de clôture et sentence sur les frais du 17 février 2020, le Tribunal arbitral a classé la procédure (lettre A du dispositif), condamné les demandeurs à verser à la défenderesse la somme de 653'089.31 euros à titre de dépens (B) ainsi que le montant de 132'502.67 USD à titre de remboursement des frais d'arbitrage (C), les montants alloués à la défenderesse portant intérêts à 2,25 % l'an à compter du prononcé de la sentence (D). B. Le 18 mars 2020, les demandeurs (ci-après: les recourants) ont formé un recours en matière civile au Tribunal fédéral, assorti d'une requête d'effet suspensif, aux fins d'obtenir l'annulation de la lettre B du dispositif de la sentence attaquée. La défenderesse (ci-après: l'intimée) a conclu au rejet du recours. Les recourants ont déposé une réplique spontanée laquelle a suscité le dépôt d'une duplique. Le Tribunal arbitral n'a pas déposé de réponse dans le délai qui lui avait été imparti à cette fin. L'effet suspensif a été accordé au recours par ordonnance présidentielle du 11 juin 2020.