Faits: A. A.a En décembre 1987, les avocats Y._ et X._ ont pris à bail, conjointement et solidairement, des locaux commerciaux à usage de bureaux, dans un immeuble sis à Genève, pour y exercer leur profession. Ils ont, par ailleurs, conclu une convention afin de régler les modalités d'utilisation de ces locaux et les divers aspects de leur association. Ladite convention les mettait sur un pied d'égalité quant aux droits et obligations se rapportant à l'exploitation commune des locaux loués. Chacun d'eux demeurait, en revanche, seul titulaire des créances résultant de son activité et débiteur de ses propres engagements. A son art. 11, la convention fixait des règles pour le cas où l'association viendrait à être dissoute, entre autres hypothèses, en raison d'une incapacité durable de l'un de ses deux membres. Enfin, toute contestation pouvant survenir entre ceux-ci devait être soumise à l'arbitrage, en vertu de l'art. 13 de la convention, la procédure applicable étant celle du concordat intercantonal sur l'arbitrage (ci-après: le concordat ou CA). A.b Y._ a été victime, en mai 1994, d'un accident de santé qui a entraîné une incapacité de travail de quelques mois et son remplacement temporaire par un collaborateur avocat. Durant l'absence de son associé, X._ a fait procéder, à ses propres frais, à des travaux de rénovation de l'étude ainsi qu'à la mise en réseau du système informatique de ses collaborateurs et du sien. Au cours de l'année 1995, certaines divergences sont apparues entre les associés au sujet des orientations différentes de leurs activités et de la répartition des coûts y relatifs. Cette année-là, Y._ a informé X._ qu'il envisageait de mettre un terme à leur association et de ne pas renouveler le bail concernant les locaux de l'étude à son échéance, en 1998. A.c Le 4 avril 1996, Y._ a été victime d'un grave accident vasculaire cérébral. Depuis lors, il n'a plus pu exercer sa profession et a été mis au bénéfice d'une rente d'invalidité complète à compter du 1er janvier 1996. X._ a assuré le suivi des dossiers de son associé en collaboration avec la stagiaire de ce dernier. Selon un décompte établi par lui, il y a consacré une cinquantaine d'heures de travail pour la période du 11 avril au 18 juin 1996. Par courrier du 26 juin 1996, Y._, invoquant la gravité et la persistance de ses problèmes de santé, a informé son confrère de la fin de leur association. Il s'est prévalu de l'art. 11 de la convention pour lui demander de reprendre le bail à partir du 1er juillet 1996 et de lui verser une indemnité. Y._ précisait en outre, dans la même lettre, que, ayant déjà remis ses dossiers à des tiers, il renonçait naturellement à l'application des règles fixées par la disposition citée au sujet des droits et obligations de l'associé restant vis-à-vis des affaires reprises de son confrère. Il est cependant établi que tous les dossiers de Y._ n'ont pas été cédés à des tiers, puisque X._ lui a repris le dossier d'une affaire dite A._ à des conditions qui devaient encore être discutées. Le 28 juin 1996, X._ s'est opposé à la résiliation immédiate du bail par Y._, invoquant la nécessité de respecter un délai de préavis de six mois et mettant en doute la durabilité de l'atteinte à la santé de son associé. Il a invité ce dernier à verser sa participation aux frais sur le compte Etude avant la fin du mois et lui a indiqué qu'il réclamerait le paiement des heures de travail consacrées aux dossiers cédés à des tiers. En date du 30 juin 1997, X._ a remis les locaux loués à une société, laquelle a repris le contrat de bail et lui a versé une indemnité de 30'000 fr. A.d Les deux avocats n'ont pas trouvé d'accord pour la liquidation de leurs rapports d'association. Après diverses récusations d'arbitres pressentis pour trancher le litige, la Cour de justice genevoise a nommé l'avocat V._ en qualité d'arbitre unique par arrêt du 9 décembre 2004. Le 15 mars 2005, Y._ a assigné son ex-associé en paiement de différentes sommes, dont la plus importante avait trait au remboursement d'honoraires perçus par X._ pour le traitement du dossier A._. Le défendeur s'est opposé à la demande, à l'exception de deux postes, et a formulé des conclusions reconventionnelles. Il a notamment soulevé l'exception d'incompétence ratione materiae de l'arbitre pour statuer sur le dossier A._. Par sentence du 4 octobre 2007, rectifiée le 9 janvier 2008, l'arbitre unique a condamné X._ à verser à Y._ un total de 41'733 fr. 85 à des titres divers et celui-ci à verser à celui-là la somme de 2'500 fr. Il a déclaré que chaque partie assumerait personnellement les honoraires et frais engagés par elle et a rejeté toutes autres conclusions. L'arbitre a considéré que les rapports d'association avaient pris fin le jour où Y._ avait été victime de son accident vasculaire cérébral, soit le 4 avril 1996. Il a considéré que l'activité déployée depuis lors par X._ en faveur de son confrère relevait du mandat et devait être rémunérée. Cependant, l'arbitre a jugé que la créance d'honoraires du prénommé était prescrite, si bien que la prétention élevée de ce chef par l'intéressé ne pouvait qu'être rejetée. Estimant que le dossier A._ rentrait dans ses compétences, l'arbitre a interprété l'accord des parties relatif à la répartition des honoraires perçus par X._ pour le traitement dudit dossier en ce sens que Y._ avait droit à 20% du montant global net de ces honoraires et qu'il pouvait exiger la contre-valeur en francs suisses de ce montant versé en dollars américains. Pour le surplus, l'arbitre a considéré que les parties n'avaient pas de créance l'une envers l'autre au titre de la répartition des frais communs comptabilisés entre le 4 avril 1996 et la fin du mois de juin 1996, la prétention émise de ce chef par X._ étant certes justifiée dans son principe, mais insuffisamment prouvée. B. Le 7 novembre 2007, X._ a interjeté un recours en nullité aux fins d'obtenir l'annulation de la sentence arbitrale rendue le 4 octobre 2007. Par arrêt du 14 novembre 2008, la Chambre civile de la Cour de justice genevoise a admis partiellement ce recours, annulé la sentence attaquée en tant qu'elle n'avait pas statué sur l'exception de compensation soulevée par X._, renvoyé la cause à l'arbitre pour qu'il statue dans le sens des considérants de l'arrêt cantonal et mis les dépens de la procédure de recours à la charge des parties pour une moitié chacune. C. Le 5 janvier 2009, X._ a formé un recours en matière civile contre l'arrêt cantonal. A titre principal, il y invite le Tribunal fédéral à annuler cet arrêt et à renvoyer la cause à la juridiction cantonale pour nouvelle décision dans le sens des considérants de l'arrêt fédéral. Subsidiairement, le recourant demande à pouvoir prouver ses allégations et réfuter celles de la partie adverse. L'intimé conclut principalement à l'irrecevabilité du recours et, sinon, au rejet de celui-ci. La cour cantonale se réfère, pour sa part, aux motifs énoncés dans son arrêt.