Faits: A. La Banque X._ est propriétaire de la parcelle 994 du registre foncier de la commune de Chêne-Bougeries, en cinquième zone de construction. Sur ce terrain, un centre de loisirs et de formation a été édifié en 1969, constitué de deux bâtiments, d'une piscine et d'un parking. La parcelle 1849 de la même commune, propriété de A._, est immédiatement voisine du terrain de la Banque X._. Une villa y est érigée, occupée par son propriétaire. B. Le 25 juin 2007, la Banque X._ a déposé auprès du Département cantonal des constructions et des technologies de l'information (ci-après: le Département cantonal) une demande définitive d'autorisation de construire pour transformer et agrandir le centre. Il s'agissait d'agrandir l'un des deux bâtiments, couvrir une terrasse, relier les deux corps existants par un couloir et effectuer des transformations intérieures. A._ s'est opposé au projet le 9 août 2007. Il estimait que les conditions d'octroi d'une dérogation d'affectation devaient être réexaminées afin de protéger le voisinage des émissions excessives. Le centre devait faire l'objet d'un assainissement, notamment au niveau du bruit. De plus, il ne disposait pas de places de parc suffisantes au vu du trafic généré. Le Département cantonal a octroyé l'autorisation sollicitée le 14 novembre 2008. A._ a porté sa cause auprès de la Commission cantonale de recours en matière de constructions (actuellement la Commission cantonale de recours en matière administrative; ci-après: la Commission cantonale), qui a rejeté son recours par décision du 14 mai 2009. La Commission cantonale a retenu que les travaux envisagés étaient de nature à atténuer les nuisances sonores car la construction reliant les deux bâtiments créait un écran sonore entre la propriété de l'intéressé et la terrasse du restaurant. Les quinze places de parking supplémentaires n'engendreraient aucun inconvénient pour celui-ci puisqu'elles se trouveraient à l'opposé de sa parcelle. De plus, le chemin d'accès au parking n'était pas celui emprunté par l'intéressé pour rejoindre sa propriété. La Banque X._ avait accepté de ne plus chauffer sa piscine, ce qui diminuerait sa fréquentation et donc le bruit généré. Le fait que la Banque X._ veuille favoriser la formation plutôt que les loisirs concourait également à la diminution des nuisances sonores dont se plaignait le propriétaire voisin. C. Par arrêt du 27 avril 2010 et après avoir procédé à un transport sur place, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours de A._ contre la décision précitée. Il a relevé en substance que les inconvénients graves mis en avant par l'intéressé n'étaient pas générés par la modification du bâtiment qui serait réalisée en application de l'autorisation de construire complémentaire, mais bien par le centre en lui-même, édifié il y a plusieurs dizaines d'années et au bénéfice d'une autorisation de construire délivrée en 1969, qui ne pouvait être remise en cause dans la présente procédure. Le projet litigieux était en outre conforme à la législation fédérale en matière de protection de l'environnement, notamment en ce qui concernait les nuisances sonores. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif du 27 avril 2010 ainsi que la décision du Département cantonal du 14 novembre 2008. Subsidiairement, il conclut au renvoi de la cause au Tribunal administratif pour nouvelle décision dans le sens des considérants. Il se plaint pour l'essentiel d'une constatation inexacte des faits et d'une appréciation arbitraire des preuves ainsi que d'une violation du droit cantonal et du droit fédéral. Le Tribunal administratif s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département cantonal se réfère intégralement à l'arrêt attaqué, dont il demande la confirmation, et conclut au rejet du recours. La Banque X._ conclut également au rejet du recours. Invité à se déterminer, l'Office fédéral de l'environnement constate que l'arrêt attaqué est conforme au droit fédéral. Le recourant a répliqué le 28 octobre 2010; il persiste intégralement dans ses conclusions. Le Département cantonal a confirmé ses conclusions le 29 octobre 2010. Par ordonnance du 13 juillet 2010, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif du recourant.