Faits:
A. Par sentence du 3 juillet 2008, rendue dans le cadre d'un arbitrage interne relatif à la portée d'une convention d'actionnaires, un Tribunal arbitral ad hoc de trois membres, siégeant à Neuchâtel, a condamné X._ SA à verser à Y._ la somme de 92'476 fr., intérêts en sus, ainsi qu'une rente mensuelle de 3'369 fr. 05 dès le 1er février 2007.
B. Contre cette sentence arbitrale, qui lui avait été notifiée le 14 juillet 2008, X._ SA a interjeté un recours en nullité au sens des art. 36 ss du concordat intercantonal sur l'arbitrage du 27 août 1969 (ci-après: le concordat ou CA).
Statuant par arrêt du 12 février 2009, la Chambre des affaires arbitrales du Tribunal cantonal du canton de Neuchâtel a déclaré le recours irrecevable pour avoir été déposé après l'échéance du délai de trente jours prévu par l'art. 37 CA. Selon elle, même s'il fallait admettre, suivant une jurisprudence contestée du Tribunal fédéral, que ce délai doit être calculé conformément aux règles de la procédure cantonale, y compris celles ayant trait à la suspension des délais pendant les féries, force serait de constater que la loi neuchâteloise sur l'arbitrage (LIA; RSN 252.1) ne contient aucun renvoi aux dispositions générales du Code de procédure civile du canton de Neuchâtel (CPC/NE; RSN 251.1), tel l'art. 120 concernant les vacances judiciaires, de sorte que le délai de recours n'a pas été suspendu pendant la durée de celles-ci.
C. X._ SA a formé un recours en matière civile au Tribunal fédéral. Elle conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour qu'elle se prononce sur le fond.
L'intimée propose le rejet du recours dans la mesure où il est recevable.
La Chambre des affaires arbitrales se réfère aux motifs énoncés dans son arrêt.

Considérant en droit:
1. 1.1 La recourante s'en prend à une décision finale (art. 90 LTF) - en l'occurrence, un arrêt d'irrecevabilité - rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF) dans une affaire pécuniaire. En application de l'art. 3 let. f CA, c'est l'autorité judiciaire compétente pour statuer sur les recours en nullité dirigés contre les sentences émanant des tribunaux arbitraux dont le siège se trouve dans son canton qui a pris cette décision. La sentence arbitrale soumise à son examen avait trait à un différend dont la valeur litigieuse atteignait le seuil de 30'000 fr. fixé à l'art. 74 al. 1 let. b LTF pour la recevabilité du recours en matière civile. Ayant pris part à la procédure devant l'autorité précédente, la recourante, dont le recours en nullité a été déclaré irrecevable, possède la qualité pour recourir (art. 76 al. 1 LTF). Comme elle a déposé son mémoire en temps utile (art. 100 LTF) et dans la forme prévue par la loi (art. 42 LTF), rien ne s'oppose à l'entrée en matière.
1.2 Saisi d'un recours en matière civile, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). S'agissant du droit, il vérifie librement l'interprétation et l'application des dispositions concordataires faites par l'autorité intimée (art. 95 let. e LTF). En revanche, il ne revoit que sous l'angle de l'arbitraire la manière dont celle-ci a interprété les dispositions pertinentes du droit de procédure de son canton (art. 9 Cst. en liaison avec l'art. 95 let. a LTF). Il ne le fait, d'ailleurs, que si un grief de ce chef a été invoqué et motivé par le recourant (art. 106 al. 2 LTF).
2. 2.1 L'art. 37 CA, qui est une disposition de droit impératif (art. 1er al. 3 CA), fixe à 30 jours dès la notification de la sentence le délai dans lequel le recours en nullité doit être intenté. L'art. 45 al. 1 CA, lui aussi de caractère impératif, laisse aux cantons le soin de régler la procédure devant l'autorité judiciaire compétente pour statuer sur un tel recours (cf. art. 3 let. f CA).
Dans un arrêt de principe rendu le 27 septembre 1988, le Tribunal fédéral a jugé que la première de ces deux dispositions n'excluait pas l'application au délai de recours des règles cantonales de procédure sur la suspension des délais pendant les féries (<ref-ruling>). Approuvée par certains auteurs à tout le moins implicitement (RÜEDE/HADENFELDT, Schweizerisches Schiedsgerichtsrecht, 2e éd. 1993, p. 349; HAUSER/SCHWERI, Kommentar zum zürcherischen Gerichtsverfassungsgesetz, 2002, p. 678, n. 15; BURKHALTER/GRELL, Schiedsgerichtsbarkeit der Schweizer Immobilienwirtschaft, 2005, p. 55 s., n. 132; BERGER/KELLERHALS, Internationale und interne Schiedsgerichtsbarkeit in der Schweiz, 2006, p. 610, note 59), cette jurisprudence a été critiquée par d'autres, tel le professeur Poudret dont elle n'avait pas suivi le point de vue sur la question controversée (LALIVE/POUDRET/REYMOND, Le droit de l'arbitrage interne et international en Suisse, 1989, p. 219 s., n° 1 ad art. 37 CA). L'intimée voudrait que le Tribunal fédéral la réexamine. Cependant, un nouvel examen de cette jurisprudence ne s'impose pas en l'espèce, étant donné que, pour les motifs indiqués ci-après, la solution du litige demeurerait la même au cas où la jurisprudence serait modifiée dans le sens préconisé par elle (voir aussi l'<ref-ruling> consid. 2b dans lequel le Tribunal fédéral a également pu se dispenser d'examiner les critiques formulées à l'encontre de l'arrêt de principe précité). Le réexamen souhaité par l'intimée ne se justifie pas davantage d'une manière plus générale et sur un plan théorique, dès lors que les arguments juridiques avancés à l'appui de la requête ad hoc étaient déjà tous connus du Tribunal fédéral à l'époque où il avait rendu l'arrêt susmentionné. En outre, l'entrée en vigueur, dans un futur relativement proche, du Code de procédure civile (CPC) du 19 décembre 2008 (FF 2009 21) rendra sans objet la question controversée (cf. l'art. 389 al. 2 CPC qui déclare la Loi sur le Tribunal fédéral [LTF] du 17 juin 2005 applicable, sauf disposition contraire, à la procédure de recours contre une sentence rendue dans un arbitrage interne).
2.2 Contrairement à ce que l'intimée semble vouloir soutenir aux pages 6 et 7 de sa réponse, dans une argumentation peu claire et fondée au demeurant sur des faits procéduraux n'ayant pas été constatés dans la décision attaquée, l'art. 24 al. 1 CA régit exclusivement la procédure à suivre devant le tribunal arbitral et ne permet donc pas aux parties d'établir elles-mêmes des règles applicables à la procédure de recours contre la sentence arbitrale (cf. Lalive/Poudret/Reymond, op. cit., n° 1 ad art. 24 CA). Dès lors, s'il fallait comprendre cette argumentation en ce sens qu'il serait loisible aux parties de décréter elles-mêmes la suspension du délai de recours pendant la durée des féries, pareille opinion résulterait d'une interprétation erronée de la disposition concordataire précitée.
3. Sous chiffre 1.2 de son mémoire, la recourante, se fondant sur l'art. 45 al. 1 CA tel qu'interprété par l'<ref-ruling>, soutient que l'autorité intimée ne peut "opposer la structure de la législation cantonale (...) pour faire obstacle à l'application des règles en matière de suspension des délais", faute de quoi elle limiterait la portée de cette disposition.
Ce faisant, l'intéressée donne à cette jurisprudence un sens extensif qui n'est pas le sien. Dans l'arrêt en question, le Tribunal fédéral n'a, en effet, pas jugé que les cantons pratiquant le système des féries devaient obligatoirement l'appliquer au délai pour recourir en nullité contre une sentence arbitrale. Il s'est borné à constater que l'art. 37 al. 1 CA, nonobstant son caractère impératif, n'interdisait pas à un canton d'étendre sa réglementation en la matière audit délai, ce qui n'est pas la même chose.
Par conséquent, si le canton de Neuchâtel a préféré ne pas procéder à une telle extension, il ne saurait se le voir reprocher au titre de la violation de l'art. 45 CA.
4. Aux termes de l'art. 4 al. 1 LIA, les requêtes et recours sont introduits, instruits et jugés en la même forme que les recours en cassation civile, dans la mesure compatible avec le concordat. Citant cette disposition, l'autorité intimée constate que la LIA ne contient aucun renvoi aux dispositions générales du CPC/NE, en particulier à l'art. 120 concernant la suspension des délais fixés par la loi ou par le juge pendant la durée des vacances judiciaires. Elle en conclut que le recours en nullité a été déposé tardivement. La recourante est d'avis que cette conclusion résulte d'une interprétation arbitraire du droit neuchâtelois.
4.1 Selon la jurisprudence, une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et reconnu, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que dans la mesure où celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain. Il n'y a pas arbitraire du fait qu'une autre solution pourrait entrer en considération ou serait même préférable (<ref-ruling> consid. 3.1; <ref-ruling> consid. 2.1).
4.2 La constatation de la cour cantonale selon laquelle l'art. 4 al. 1 LIA ne contient aucun renvoi aux dispositions générales du CPC/NE n'a rien d'insoutenable, bien au contraire, puisqu'elle correspond à la lettre de la loi.
En regard du titre marginal "Forme du recours", l'art. 416 CPC/NE, auquel renvoie la disposition précitée, énonce qu'en général, le recours [i.e. le recours en cassation] est formé par le dépôt d'un mémoire motivé au greffe du tribunal de jugement dans les vingt jours qui suivent la notification de la décision attaquée. Selon la recourante, il ne serait pas possible d'appliquer cette disposition sans se référer aux règles générales du CPC/NE, sous peine de ne pouvoir déterminer à quelles conditions une notification peut avoir lieu, quand un délai de recours est respecté et quelles sont les circonstances susceptibles d'influer sur sa computation. Considérée exclusivement du point de vue de l'art. 416 CPC/NE, semblable thèse ne peut qu'être approuvée. Toutefois, ce n'est pas sous ce seul angle que la question litigieuse doit être abordée, puisque cette disposition n'est applicable au recours en nullité dirigé contre une sentence arbitrale qu'en vertu du renvoi opéré à l'art. 4 al. 1 LIA et que le problème à résoudre est, dès lors, celui de la portée d'un tel renvoi.
Ainsi mise en perspective, la décision attaquée n'apparaît en tout cas pas insoutenable - la solution retenue fût-elle moins justifiée que la solution inverse, voire erronée -, et cela seul importe au regard du grief d'arbitraire dans l'interprétation et l'application du droit cantonal. En effet, l'art. 4 al. 1 LIA traite de la forme du recours en nullité; il restreint, au demeurant, la portée du renvoi opéré par lui aux dispositions topiques du CPC/NE en précisant que ce renvoi peut intervenir uniquement "dans la mesure compatible avec le concordat". Or, en tant qu'il fixe à 20 jours la durée du délai de recours, l'art. 416 CPC/NE est incompatible avec l'art. 37 al. 1 CA, qui fixe impérativement la durée du délai de recours à 30 jours. Aussi était-il à tout le moins défendable de considérer, à l'instar de la cour cantonale, que la question du délai pour déposer un recours en nullité, en particulier celle de l'applicabilité des règles générales du CPC/NE touchant les "vacances judiciaires" (art. 118 à 120), est exorbitante dudit renvoi, dont l'objet est en conséquence limité à la forme du recours et, toujours sous la réserve de la compatibilité avec le concordat, à la procédure conduisant au prononcé de l'arrêt de la Chambre des affaires arbitrales. Pareille solution est en harmonie avec l'un des buts de la procédure arbitrale, qui est de permettre une solution rapide des litiges; elle est, en outre, conforme à l'esprit du concordat, qui tend à ce que le délai de recours soit uniforme dans tous les cantons et qu'il ne puisse pas être indirectement prolongé par le biais de féries. Dans ce cas de figure, il serait logique de n'appliquer les dispositions générales (par ex. celles relatives aux notifications) et spéciales (par ex. celles relatives à l'instruction du recours) du CPC/NE que dans la mesure où elles influent sur les deux questions formant l'objet du renvoi, à savoir la forme du recours, d'une part, et la procédure de recours stricto sensu, d'autre part. Il n'y aurait pas non plus d'obstacle juridique insurmontable à appliquer, par analogie, les règles spécifiques du CPC/NE régissant le calcul du début et de la fin du délai de recours (art. 107 à 108 sur le dies a quo et l'expiration du délai un jour férié), lesquelles règles ne font du reste que codifier des principes d'application si générale en Suisse qu'ils y relèvent du droit coutumier. D'ailleurs, même les auteurs qui dénient aux cantons la faculté de prévoir une suspension du délai de recours préconisent néanmoins l'application de telles règles (Lalive/Poudret/Reymond, op. cit., p. 220, n° 1 ad art. 37 CA; Pierre Jolidon, Commentaire du Concordat suisse sur l'arbitrage, 1984, p. 526, n° 3 ad art. 37 CA).
Le moyen pris de la violation de l'art. 9 Cst. tombe, dès lors, à faux.
5. La recourante ne soutient pas que la solution adoptée par la Chambre des affaires arbitrales constituerait une modification (ou une clarification) de la jurisprudence antérieure relative aux conditions de recevabilité du recours en nullité contre une sentence arbitrale dans le canton de Neuchâtel, laquelle n'aurait pu intervenir sans avertissement préalable, sauf à violer le droit des parties à la protection de la bonne foi découlant de l'art. 9 Cst. (cf. <ref-ruling> consid. 5.1; <ref-ruling> consid. 3c/bb p. 60). Il n'y a donc pas lieu d'examiner cette question (art. 106 al. 2 LTF).
6. En définitive, l'autorité intimée n'a pas violé le concordat sur l'arbitrage ni interprété ou appliqué arbitrairement le droit de procédure civile neuchâtelois en refusant de tenir compte de la suspension du délai de recours pendant la durée des vacances judiciaires et, partant, en déclarant irrecevable le recours qui lui était soumis.
La recourante, qui succombe, devra payer les frais judiciaires afférents à la procédure fédérale (art. 66 al. 1 LTF) et indemniser son adverse partie (art. 68 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge de la recourante.
3. La recourante versera à l'intimée une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des affaires arbitrales du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 2 juin 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Carruzzo