Faits:
A. Par contrat de bail à loyer du 26 mars 2003, Y._ a loué à X._ un appartement de quatre pièces à Versoix pour un loyer mensuel de 1'350 fr., auquel s'ajoutent 100 fr. de charges. Le bail a été conclu initialement pour une durée de trois ans, du 1er avril 2003 au 31 mars 2006, et depuis se renouvelle tacitement. L'article 1er des clauses particulières du bail indique que « le locataire reconnaît avoir visité les locaux et les accepter dans leur état actuel, sans réparation et sous réserve du départ du précédent locataire ».
L'immeuble dans lequel se trouve l'appartement loué est situé à côté du tronçon ferroviaire Coppet - Genève et laisse apparaître une certaine vétusté. Les fenêtres ne disposent pas d'un double vitrage et la peinture des encadrements est écaillée.
Depuis le 12 décembre 2004, le nombre de trains empruntant le tronçon ferroviaire Coppet - Genève a augmenté de quarante par jour, en raison de la mise en service d'une troisième voie entre Coppet et Genève.
Par courrier du 17 mai 2006, le locataire s'est plaint auprès du bailleur du manque d'isolation des fenêtres, du manque d'entretien de l'immeuble et du comportement de la famille de A._, concierge de l'immeuble. Dès octobre 2006, les loyers et les charges ont été consignés dans leur intégralité auprès des services financiers du pouvoir judiciaire genevois.
B. Le 21 février 2007, le locataire a saisi le Tribunal des baux et loyers du canton de Genève. Cette action tendait à la suppression de certains défauts de la chose louée et à la réduction du loyer.
Le locataire ne s'est pas seulement plaint du fait que les fenêtres de l'appartement loué ne sont pas dotées d'un double vitrage, mais également du bruit provoqué par les enfants de la famille du concierge, de l'état de l'immeuble - en particulier de la porte d'entrée, de la couleur grise de la façade, du carrelage dépareillé, des escaliers communs ébréchés et des câbles de télévision, qui pendent devant le balcon et les fenêtres de l'appartement litigieux -, et du nettoyage insuffisant des parties communes.
Statuant le 30 mai 2008, le Tribunal a considéré que les défauts invoqués par le locataire relatifs à l'état de l'immeuble ne restreignaient pas l'usage de la chose louée. En revanche, il a été constaté que le nettoyage des parties communes n'était pas suffisant, ce qui justifiait une réduction de loyer de 8% du 20 septembre 2003 jusqu'à ce que les mesures adéquates soient prises. Les premiers juges ont par ailleurs relevé que le bruit provoqué par les lignes ferroviaires avait augmenté depuis la mise en service de la 3ème voie entre Coppet et Genève, ce qui avait provoqué une diminution du confort et de la jouissance du logement et justifiait ainsi une diminution de loyer de 5% du 18 mai 2006 jusqu'à la fin du bail. Le Tribunal a en outre estimé qu'aucuns travaux d'isolation des fenêtres ne devaient être ordonnés, motif pris qu'ils étaient disproportionnés au vu de la démolition envisagée de l'immeuble. Enfin, la consignation des loyers a été validée à concurrence des défauts retenus.
Saisie d'un appel du bailleur et du locataire, la Cour de justice a, par arrêt du 20 avril 2009, joint les deux appels et statué sur le fond. Elle a complété le chiffre 1 du dispositif du jugement entrepris en tant que les mesures que le bailleur a été condamné à prendre sous ce chiffre sont ordonnées sous menaces des peines prévues à l'<ref-law> pour le cas où le bailleur ne satisferait pas à son obligation dans un délai de trois mois à compter du prononcé définitif de l'arrêt, condamné le bailleur à faire enlever les câblages passant devant le balcon et les fenêtres de l'appartement occupé par le locataire, confirmé le jugement attaqué pour le surplus, condamné le bailleur à un émolument d'appel de 300 fr. et le locataire à un autre de 200 fr. et débouté les parties de toutes autres conclusions.
C. Le locataire exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 20 avril 2009.
Mis à part la pose d'un double vitrage, les défauts invoqués en procédure cantonale par le locataire ne sont plus discutés devant le Tribunal fédéral. Sur la question encore litigieuse, le locataire se plaint d'une violation des art. 256 et 259a ss CO et de l'interdiction constitutionnelle de l'arbitraire. Il conclut à l'admission du recours, à la condamnation du bailleur à exécuter, à ses frais et dans les règles de l'art, les travaux de remplacement des fenêtres de l'appartement par la pose d'un double vitrage, à la réduction du loyer, sans les charges, de 30% supplémentaires au 8% déjà alloués dans la procédure cantonale, dès le 18 mai 2006 et jusqu'à bonne et complète exécution des travaux de remplacement des fenêtres de l'appartement, et à la confirmation de l'arrêt attaqué pour le surplus, le tout sous suite de frais et dépens.
Le bailleur invite pour sa part le Tribunal fédéral à débouter la partie adverse de toutes ses conclusions.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a partiellement succombé dans ses conclusions prises devant l'autorité précédente (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire en matière de bail à loyer dont la valeur litigieuse atteint le seuil de 15'000 fr. (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. c et <ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.1 p. 105). Il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: <ref-ruling> consid. 8.1 p. 153, 135 III 127 consid. 1.5 p. 130 - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>).
2. Le recourant dénonce, dans un premier temps, une violation des art. 256 et 259a ss CO par l'autorité cantonale pour ne pas avoir ordonné la pose d'un double vitrage à titre de « remise en état de la chose ». Puis, dans un second grief, le recourant dénonce une violation de l'interdiction constitutionnelle de l'arbitraire; de son point de vue, il est insoutenable pour la cour cantonale d'avoir confirmé la réduction de loyer de 5% accordée par le Tribunal des baux et loyers du 18 mai 2006 jusqu'à la fin du bail, au motif que cette réduction n'était pas contestée en appel par le recourant.
3. Il convient tout d'abord d'examiner si l'autorité cantonale était fondée à refuser la pose d'un double vitrage, requise par le locataire afin de diminuer les nuisances sonores subies à la suite de l'augmentation du trafic ferroviaire.
3.1 Selon l'<ref-law>, le bailleur est tenu de délivrer la chose dans un état approprié à l'usage pour lequel elle a été louée, et de l'entretenir en cet état. La survenance d'un défaut en cours de bail peut notamment justifier une remise en état de la chose (<ref-law>), de même qu'une réduction proportionnelle du loyer (<ref-law>).
Le locataire perd son droit à la remise en état de la chose, lorsque la réparation du défaut est objectivement impossible, tel étant par exemple le cas si le bailleur n'a pas de prise sur le défaut, ou lorsque le coût des travaux nécessaires serait disproportionné (DAVID LACHAT, Le bail à loyer, 2008, no 1.6, p. 249 et no 2.2, p. 251; DAVID LACHAT ET AL., Mietrecht für die Praxis, 2009, no 11/2.2, p. 167 et no 24/4.1, p. 504; PETER HIGI, Zürcher Kommentar, nos 10 et 11 ad <ref-law>; SVIT-Kommentar Mietrecht, éd. 2008, n° 9 ad <ref-law>). Le locataire peut alors prétendre à une réduction du loyer et, si l'impossibilité est due à une faute du bailleur, à des dommages-intérêts.
3.2 L'autorité précédente a, tout comme les premiers juges, rejeté la prétention du recourant à la pose d'un double vitrage et à une réduction de loyer de 30% dès le 18 mai 2006 jusqu'à la bonne et complète exécution des travaux de remplacement des fenêtres, estimant qu'il n'y avait pas lieu d'ordonner une telle mesure. Pour ce faire, elle a notamment relevé que l'isolation acoustique de l'appartement était conforme aux normes, que le locataire ne pouvait ignorer, lors de la conclusion du bail, que les fenêtres disposaient d'un simple vitrage, ce qui n'a du reste fait l'objet d'aucune plainte, et qu'enfin la décision du Tribunal des baux et loyers n'était pas contestée s'agissant du bruit provoqué par les lignes ferroviaires. La Cour de justice a parallèlement confirmé la réduction de loyer de 5% accordée - pour la période s'étendant du 18 mai 2006 à la fin du bail - par le Tribunal des baux et loyers, motif pris que la réduction octroyée en raison de l'augmentation des nuisances sonores provoquées par les lignes ferroviaires n'était pas contestée par le locataire, qui retenait, à ce titre, le même taux de réduction.
La motivation développée par la cour cantonale pour justifier le refus d'ordonner la pose d'un double vitrage n'emporte pas la conviction. La cour a définitivement tranché que l'augmentation du trafic liée à l'ouverture de la 3ème voie entre Coppet et Genève constituait un défaut survenu en cours de bail, lequel défaut engageait la responsabilité du bailleur: il ressort en effet du jugement du Tribunal des baux et loyers, confirmé sur ce point en instance d'appel, que le confort de l'appartement a diminué depuis la mise en service de la 3ème voie et que cette diminution de jouissance justifiait une réduction de loyer, arrêtée à un taux de 5% du 18 mai 2006 jusqu'à la fin du bail. Dès lors, on ne voit pas en quoi les considérations émises par la cour cantonale en lien avec l'isolation acoustique de l'appartement sont pertinentes. Le même constat s'impose s'agissant des autres motifs avancés par la cour en lien avec la situation qui prévalait lors de la prise de possession des lieux (tant au niveau de l'état du vitrage que des nuisances sonores ressenties), puisque le défaut, lié à l'augmentation du trafic ferroviaire, est intervenu en cours de bail.
Peu importe en définitive, dès lors que le Tribunal fédéral n'est pas limité, dans l'examen de la violation du droit, par la motivation de l'autorité précédente.
Les doubles vitrages ont été refusés - en première instance et sans que la cour n'y revienne -, parce que la dépense y relative a été jugée disproportionnée pour un vieil immeuble que le propriétaire veut démolir. Dès lors qu'une remise en état de la chose louée au sens de l'<ref-law> peut être refusée en cas de frais disproportionnés, le motif avancé par les premiers juges est conforme au droit fédéral et repose sur des faits dont le recourant ne démontre pas l'arbitraire. Le recourant ne conteste pas que l'immeuble est vétuste - cet état découlant du reste de la nature des différentes prétentions soulevées par le recourant en procédure cantonale. Par ailleurs, conformément aux dires du bailleur, il a été retenu que l'immeuble en question sera à moyen terme voué à la démolition. A cet égard, le fait que le bailleur ait admis qu'aucun projet de reconstruction n'a été autorisé n'est pas à même d'infirmer sa volonté de démolir l'immeuble, quoi qu'en dise le locataire. Celui-ci ne prétend du reste pas que l'immeuble subirait prochainement d'importantes rénovations, ce qui permettrait de douter d'une démolition à venir. Par conséquent, ces faits ne sauraient être taxés d'arbitraire, aucune démonstration allant dans ce sens n'étant entreprise par le recourant.
Au regard de ces éléments, la pose d'un double vitrage paraît démesurée, ce d'autant que le recourant ne prétend pas que le coût d'une telle installation, qui est destinée à durer (cf. la table de longévité des installations donnée par David Lachat, Le bail à loyer, 2008, Annexe III, p. 870), serait dérisoire et donc que le bailleur pourrait en supporter le coût indépendamment d'une démolition à moyen terme de l'immeuble. Il en découle bien que les dépenses engendrées par la mesure requise seraient disproportionnées compte tenu de l'état dans lequel se trouve l'immeuble et de l'affectation qui en sera faite.
Par conséquent, la cour cantonale pouvait ne pas ordonner la pose d'un double vitrage, sans violer le droit fédéral.
4. Lorsque le défaut ne peut pas être supprimé en raison de coûts disproportionnés, la réduction de loyer est due pour les nuisances subies par le locataire.
Les premiers juges - sans que la cour n'y revienne - ont évalué à 5% la réduction de loyer justifiée par le bruit résultant de l'augmentation du trafic ferroviaire. Il s'agit là d'une question d'appréciation et on ne voit pas que l'autorité cantonale ait abusé de son large pouvoir en la matière en confirmant le pourcentage alloué par l'autorité cantonale.
Dans la mesure où le grief d'arbitraire soulevé sur ce point par le recourant n'a pas de portée propre, il peut demeurer en l'état.
5. Il résulte des considérants qui précèdent que le recours doit être rejeté.
Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé une indemnité de 3'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 7 septembre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin