Faits: A. Par sentence du 3 juillet 2008, rendue dans le cadre d'un arbitrage interne relatif à la portée d'une convention d'actionnaires, un Tribunal arbitral ad hoc de trois membres, siégeant à Neuchâtel, a condamné X._ SA à verser à Y._ la somme de 92'476 fr., intérêts en sus, ainsi qu'une rente mensuelle de 3'369 fr. 05 dès le 1er février 2007. B. Contre cette sentence arbitrale, qui lui avait été notifiée le 14 juillet 2008, X._ SA a interjeté un recours en nullité au sens des art. 36 ss du concordat intercantonal sur l'arbitrage du 27 août 1969 (ci-après: le concordat ou CA). Statuant par arrêt du 12 février 2009, la Chambre des affaires arbitrales du Tribunal cantonal du canton de Neuchâtel a déclaré le recours irrecevable pour avoir été déposé après l'échéance du délai de trente jours prévu par l'art. 37 CA. Selon elle, même s'il fallait admettre, suivant une jurisprudence contestée du Tribunal fédéral, que ce délai doit être calculé conformément aux règles de la procédure cantonale, y compris celles ayant trait à la suspension des délais pendant les féries, force serait de constater que la loi neuchâteloise sur l'arbitrage (LIA; RSN 252.1) ne contient aucun renvoi aux dispositions générales du Code de procédure civile du canton de Neuchâtel (CPC/NE; RSN 251.1), tel l'art. 120 concernant les vacances judiciaires, de sorte que le délai de recours n'a pas été suspendu pendant la durée de celles-ci. C. X._ SA a formé un recours en matière civile au Tribunal fédéral. Elle conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour qu'elle se prononce sur le fond. L'intimée propose le rejet du recours dans la mesure où il est recevable. La Chambre des affaires arbitrales se réfère aux motifs énoncés dans son arrêt.