Faits :
A.
Le 11 janvier 2019, A._, détenu à la prison régionale de Berne, a saisi le Tribunal régional des Montagnes et du Val-de-Ruz d'une requête de conciliation dirigée contre B._ concluant à ce que ce dernier soit condamné à lui payer 1'800 fr. et à lui restituer divers effets personnels ou, subsidiairement, à lui verser la somme de 5'000 fr. Il a requis l'assistance judiciaire, tant pour l'avance de frais que pour l'assistance d'un mandataire professionnel.
Par ordonnance du 9 mai 2019, le Tribunal régional a rejeté la requête d'assistance judiciaire. En bref, il a considéré que le requérant n'avait pas fourni d'éléments suffisants pour établir que son action présenterait des chances de succès. Aussi, la condition de l'<ref-law> n'était-elle pas réalisée.
B.
Le 24 mai 2019, A._ a recouru contre cette décision en sollicitant sa mise au bénéfice de l'assistance judiciaire pour la procédure de recours.
Par courrier recommandé du 28 mai 2019, la Cour civile du Tribunal cantonal du canton de Neuchâtel a invité le recourant à verser une avance de frais de 400 fr. dans un délai de dix jours, faute de quoi il ne serait pas entré en matière sur le recours.
Par lettre du 31 mai 2019 adressée au Juge instructeur, A._ a relevé qu'il avait requis l'assistance judiciaire pour la procédure de recours.
Le 5 juin 2019, le Président de l'autorité de recours en matière civile neuchâteloise a indiqué avoir exigé une avance de frais car le recours ne présentait pas, sur la base d'un examen sommaire, de chances suffisantes de succès. En substance, il a relevé que le point de savoir si les faits allégués étaient établis ou susceptibles de l'être était une question relevant de l'appréciation des preuves. Partant, le recourant devait démontrer que le tribunal de première instance avait constaté les faits de façon arbitraire. Or, dans son mémoire, l'intéressé n'avait pas soutenu avoir fourni des éléments suffisants pour établir que l'action introduite présentait des chances de succès, éléments que le tribunal de première instance aurait appréciés de manière manifestement insoutenable.
Le 13 juin 2019, le recourant a contesté cette appréciation. Il a soutenu avoir fourni des éléments suffisants permettant d'établir les chances de succès de son action.
Par avis du 17 juin 2019, l'autorité cantonale a confirmé les termes de sa correspondance du 5 juin 2019 et a imparti au recourant un délai supplémentaire non prolongeable au 28 juin 2019 pour effectuer l'avance de frais, faute de quoi il serait fait application de l'<ref-law>.
Par lettre du 21 juin 2019, le recourant a fait valoir que les conditions d'octroi de l'assistance judiciaire étaient réalisées. Partant, il ne devait pas verser l'avance de frais requise.
Par ordonnance du 3 juillet 2019, la Cour civile, par son Président, a rendu la décision suivante:
" Le président de l'Autorité de recours en matière civile,
Vu le recours interjeté le 24 mai 2019 par A._ (...),
vu les échanges de courriers avec Me Rindlisbacher des 28 et 31 mai, 5, 13, 17 et 21 juin 2019,
vu le dossier,
CONSIDERANT
Que le recourant n'a pas versé l'avance de frais requise dans le délai péremptoire qui lui a été imparti,
qu'il est ainsi réputé renoncer à son recours, comme il en a été avisé,


Par ces motifs,
Ordonne le classement du dossier sans frais. "
C.
Le 10 septembre 2019, A._ (ci-après: le recourant) a saisi le Tribunal fédéral d'un recours constitutionnel subsidiaire rédigé en langue allemande. Il conclut, sous suite de frais et dépens, à l'annulation et à la réforme de l'ordonnance du 3 juillet 2019 et de l'ordonnance rendue le 9 mai 2019 par le Tribunal régional en ce sens qu'il est mis au bénéfice de l'assistance judiciaire pour les procédures introduites devant le Tribunal régional et la Cour civile du Tribunal cantonal du canton de Neuchâtel. Subsidiairement, il requiert le renvoi de la cause à une instance inférieure pour qu'elle statue à nouveau dans le sens des considérants. Le recourant a, en outre, requis l'octroi de l'effet suspensif à son recours et présenté une requête d'assistance judiciaire.
L'autorité intimée, qui a produit le dossier de la cause, a déclaré s'en remettre à l'appréciation du Tribunal fédéral quant à l'octroi de l'effet suspensif.
Par ordonnance présidentielle du 25 septembre 2019, l'effet suspensif requis par le recourant a été conféré au recours.
La requête d'assistance judiciaire formée par le recourant a été admise par ordonnance de la Cour de céans du 1 er novembre 2019; le conseil Lars Rindlisbacher a été désigné comme avocat d'office.
Invitée à se déterminer sur le recours, l'autorité intimée s'est référée à sa décision.
Considérant en droit :
1.
Même si le mémoire de recours a été rédigé en allemand, le présent arrêt sera rendu en français, langue de la décision attaquée, conformément à l'<ref-law>.
2.
2.1. Faute de valeur litigieuse suffisante, l'arrêt entrepris n'est susceptible que d'un recours constitutionnel subsidiaire au sens des <ref-law>. Le recours a été déposé dans le délai légal (art. 100 al. 1 et 117 LTF). Il est dirigé contre une décision déclarant le recours non avenu, de sorte qu'il s'agit d'une décision finale (art. 90 et 117 LTF). Celle-ci a en outre été prise en dernière instance cantonale et sur recours par un tribunal supérieur (art. 75 et 114 LTF), dans une cause de nature civile. Le recourant a qualité pour recourir (<ref-law>). Le recours constitutionnel subsidiaire est ainsi recevable au regard de ces dispositions.
2.2. La juridiction précédente n'est pas entrée en matière sur le bien-fondé du jugement de première instance, dès lors qu'elle a constaté que le recourant n'avait pas effectué l'avance de frais requise dans le délai imparti. Le chef de conclusions tendant à l'annulation de la décision attaquée et au renvoi de l'affaire à la cour cantonale apparaît recevable sous l'angle de l'<ref-law>; s'il annule une décision d'irrecevabilité, le Tribunal fédéral ne statue pas lui-même sur le fond, mais renvoie le dossier à l'autorité cantonale (de recours) afin que le justiciable ne soit pas frustré d'un degré de juridiction (<ref-ruling> consid. 1.2).
2.3. La voie du recours constitutionnel subsidiaire n'est ouverte que pour faire valoir des griefs portant sur la violation de droits constitutionnels (cf. <ref-law>). Le Tribunal fédéral n'examine toutefois la violation des droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante (<ref-law>, par renvoi de l'<ref-law>; <ref-ruling> consid. 2.1 p. 334). Cette dernière disposition reprend le principe d'allégation (cf. <ref-ruling> consid. 1.4.2 p. 254).
3.
3.1. Dénonçant notamment une violation des art. 29 Cst. et 6 CEDH et se plaignant d'arbitraire, le recourant reproche à l'autorité cantonale de lui avoir fixé un délai pour effectuer l'avance de frais puis d'avoir décidé de ne pas entrer en matière sur son recours, faute de versement de celle-ci, sans avoir formellement statué au préalable sur sa requête d'assistance judiciaire.
3.2. Conformément aux règles du CPC, le tribunal impartit un délai pour le versement de l'avance de frais; si la partie concernée ne s'est pas exécutée à l'échéance d'un délai supplémentaire, le tribunal n'entre pas en matière sur sa demande ou sa requête (art. 101 al. 1 et 3 CPC; cf. art. 59 al. 2 let. f CPC). Selon la jurisprudence rendue en application de l'<ref-law>, la requête d'assistance judiciaire suspend le délai imparti pour payer l'avance de frais judiciaires et, en cas de rejet de cette requête, le tribunal doit accorder un délai supplémentaire pour effectuer cette avance. Tant qu'une décision sur l'assistance judiciaire n'a pas été prise, le tribunal ne peut exiger d'avance de frais et fixer de délai à cette fin (<ref-ruling> consid. 4.2.1; <ref-ruling> consid. 4.2; arrêt 4A_541/2012 du 18 janvier 2013 consid. 7). Admettre le contraire reviendrait à contraindre le recourant, alors qu'il est dans l'incertitude quant à l'issue de sa requête d'assistance judiciaire, à verser l'avance réclamée afin de sauvegarder la recevabilité de son recours.
3.3. En l'occurrence, l'autorité cantonale a tiré les conséquences du défaut de versement de l'avance de frais sollicitée, en application de la disposition procédurale précitée, sans se prononcer formellement sur la requête d'assistance judiciaire. La décision querellée ne fait du reste nulle mention de celle-ci. Le dispositif se limite à déclarer le dossier classé. Au demeurant, si l'on examine le déroulement de la procédure devant l'autorité cantonale, l'on constate que celle-ci a d'emblée invité le recourant à effectuer une avance de frais sans même faire référence à la demande d'assistance judiciaire présentée par l'intéressé dans son mémoire de recours. Ce n'est qu'après avoir été interpellée par le recourant que l'autorité cantonale a indiqué, le 5 juin 2019, avoir exigé le paiement d'une avance de frais au motif que le recours ne présentait pas, à première vue et sur la base d'un examen sommaire, de chances suffisantes de succès. On peut s'interroger sur le point de savoir si l'autorité cantonale aurait seulement évoqué la requête d'assistance judiciaire sans l'intervention spontanée du conseil du recourant. Quoi qu'il en soit, l'on ne saurait assimiler le courrier du 5 juin 2019 - qui d'ailleurs ne comporte ni dispositif ni indication d'éventuelles voies de droit -, et l'échange de correspondances qui s'en est suivi entre l'autorité et le recourant, à des décisions rejetant formellement la demande d'assistance judiciaire. La décision entreprise viole ainsi le droit à l'assistance judiciaire gratuite garanti par l'art. 29 al. 3 Cst. et consacre une application arbitraire des dispositions du CPC relatives à l'avance de frais et à l'assistance judiciaire.
4.
Le recours doit par conséquent être admis, l'ordonnance attaquée annulée et la cause renvoyée à l'instance précédente pour qu'elle statue sur la requête d'assistance judiciaire formulée par le recourant et lui fixe, en cas de refus, un délai supplémentaire pour verser l'avance de frais sollicitée.
Le canton de Neuchâtel, qui succombe, est dispensé du paiement des frais judiciaires (<ref-law>). En revanche, il doit des dépens pour le travail effectué par l'avocat du recourant, lesquels sont fixés à 2'500 fr. Ce montant sera versé directement à l'avocat d'office (arrêt 4A_328/2016 du 10 novembre 2016 consid. 4).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis.
2.
L'ordonnance attaquée est annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le canton de Neuchâtel versera à Me Lars Rindlisbacher une indemnité de 2'500 fr. à titre de dépens.
5.
Le présent arrêt est communiqué au mandataire du recourant et à la Cour civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 14 novembre 2019
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : O. Carruzzo