Faits: A. Par contrat de bail à loyer du 26 mars 2003, Y._ a loué à X._ un appartement de quatre pièces à Versoix pour un loyer mensuel de 1'350 fr., auquel s'ajoutent 100 fr. de charges. Le bail a été conclu initialement pour une durée de trois ans, du 1er avril 2003 au 31 mars 2006, et depuis se renouvelle tacitement. L'article 1er des clauses particulières du bail indique que « le locataire reconnaît avoir visité les locaux et les accepter dans leur état actuel, sans réparation et sous réserve du départ du précédent locataire ». L'immeuble dans lequel se trouve l'appartement loué est situé à côté du tronçon ferroviaire Coppet - Genève et laisse apparaître une certaine vétusté. Les fenêtres ne disposent pas d'un double vitrage et la peinture des encadrements est écaillée. Depuis le 12 décembre 2004, le nombre de trains empruntant le tronçon ferroviaire Coppet - Genève a augmenté de quarante par jour, en raison de la mise en service d'une troisième voie entre Coppet et Genève. Par courrier du 17 mai 2006, le locataire s'est plaint auprès du bailleur du manque d'isolation des fenêtres, du manque d'entretien de l'immeuble et du comportement de la famille de A._, concierge de l'immeuble. Dès octobre 2006, les loyers et les charges ont été consignés dans leur intégralité auprès des services financiers du pouvoir judiciaire genevois. B. Le 21 février 2007, le locataire a saisi le Tribunal des baux et loyers du canton de Genève. Cette action tendait à la suppression de certains défauts de la chose louée et à la réduction du loyer. Le locataire ne s'est pas seulement plaint du fait que les fenêtres de l'appartement loué ne sont pas dotées d'un double vitrage, mais également du bruit provoqué par les enfants de la famille du concierge, de l'état de l'immeuble - en particulier de la porte d'entrée, de la couleur grise de la façade, du carrelage dépareillé, des escaliers communs ébréchés et des câbles de télévision, qui pendent devant le balcon et les fenêtres de l'appartement litigieux -, et du nettoyage insuffisant des parties communes. Statuant le 30 mai 2008, le Tribunal a considéré que les défauts invoqués par le locataire relatifs à l'état de l'immeuble ne restreignaient pas l'usage de la chose louée. En revanche, il a été constaté que le nettoyage des parties communes n'était pas suffisant, ce qui justifiait une réduction de loyer de 8% du 20 septembre 2003 jusqu'à ce que les mesures adéquates soient prises. Les premiers juges ont par ailleurs relevé que le bruit provoqué par les lignes ferroviaires avait augmenté depuis la mise en service de la 3ème voie entre Coppet et Genève, ce qui avait provoqué une diminution du confort et de la jouissance du logement et justifiait ainsi une diminution de loyer de 5% du 18 mai 2006 jusqu'à la fin du bail. Le Tribunal a en outre estimé qu'aucuns travaux d'isolation des fenêtres ne devaient être ordonnés, motif pris qu'ils étaient disproportionnés au vu de la démolition envisagée de l'immeuble. Enfin, la consignation des loyers a été validée à concurrence des défauts retenus. Saisie d'un appel du bailleur et du locataire, la Cour de justice a, par arrêt du 20 avril 2009, joint les deux appels et statué sur le fond. Elle a complété le chiffre 1 du dispositif du jugement entrepris en tant que les mesures que le bailleur a été condamné à prendre sous ce chiffre sont ordonnées sous menaces des peines prévues à l'art. 292 CP pour le cas où le bailleur ne satisferait pas à son obligation dans un délai de trois mois à compter du prononcé définitif de l'arrêt, condamné le bailleur à faire enlever les câblages passant devant le balcon et les fenêtres de l'appartement occupé par le locataire, confirmé le jugement attaqué pour le surplus, condamné le bailleur à un émolument d'appel de 300 fr. et le locataire à un autre de 200 fr. et débouté les parties de toutes autres conclusions. C. Le locataire exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 20 avril 2009. Mis à part la pose d'un double vitrage, les défauts invoqués en procédure cantonale par le locataire ne sont plus discutés devant le Tribunal fédéral. Sur la question encore litigieuse, le locataire se plaint d'une violation des art. 256 et 259a ss CO et de l'interdiction constitutionnelle de l'arbitraire. Il conclut à l'admission du recours, à la condamnation du bailleur à exécuter, à ses frais et dans les règles de l'art, les travaux de remplacement des fenêtres de l'appartement par la pose d'un double vitrage, à la réduction du loyer, sans les charges, de 30% supplémentaires au 8% déjà alloués dans la procédure cantonale, dès le 18 mai 2006 et jusqu'à bonne et complète exécution des travaux de remplacement des fenêtres de l'appartement, et à la confirmation de l'arrêt attaqué pour le surplus, le tout sous suite de frais et dépens. Le bailleur invite pour sa part le Tribunal fédéral à débouter la partie adverse de toutes ses conclusions.