Faits:
A. A.a X._ est propriétaire des parcelles nos 5683 et 6883 de la commune de Z._, sises au chemin A._ no 1.
Y._ est propriétaire de la parcelle no 7967 (anciennement parcelle no 2712) de la même commune, sise au chemin A._ no 2. Ladite parcelle est voisine de la parcelle no 5683. Y._ a acquis la parcelle no 7967 de la SI B._ le 7 septembre 2004.
A.b La parcelle no 5683 est au bénéfice d'une servitude de non-bâtir grevant la parcelle no 7967. Cette servitude a été inscrite au registre foncier le 2 décembre 1987.
L'acte constitutif de la servitude indique qu'il est constitué, au profit de la parcelle no 5683, propriété de X._, sur la parcelle no 2712, propriété de la SI B._, une servitude de non-bâtir grevant l'entier de la parcelle no 2712, à l'exception du bâtiment prévu selon les plans visés ne varietur au dossier de l'autorisation de construire no 85875 et figurant sur un extrait du plan cadastral annexé. L'acte constitutif prévoit par ailleurs que la SI B._ ne construira pas d'autres bâtiments que celui prévu à l'autorisation précitée sur la partie de la parcelle no 2712.
Par acte séparé du même jour, les parties ont conclu une convention par laquelle elles précisaient qu'elles avaient convenu la constitution de la servitude en vue de clarifier, harmoniser et stabiliser les relations de voisinage entre les propriétés foncières concernées et leurs propriétaires respectifs. Les parties souhaitaient notamment éviter la multiplicité d'habitations et la conversion de la construction prévue en locaux administratifs, résidence d'ambassadeur ou destination analogue, ce qui pourrait entraîner la présence d'un grand nombre de personnes et une utilisation accrue du chemin A._.
A.c Y._ a souhaité entreprendre des travaux de rénovation et de transformation de la villa construite sur sa parcelle. Ceux-ci consistaient à détruire la piscine intérieure afin de l'agrandir d'environ 119 m2 et de réaliser, sur cette surface, un espace de repos, un sauna, un hammam et une salle de bains ainsi qu'un escalier extérieur destiné à relier le rez-de-chaussée aux locaux techniques du sous-sol. Ces travaux impliquaient une extension du bâtiment existant.
Le 22 février 2005, l'architecte mandaté par Y._ pour les travaux susmentionnés a pris contact avec X._. Il a rencontré celui-ci le 18 avril 2005 et lui a alors présenté les plans des travaux projetés.
Le 21 avril 2005, Y._ a obtenu l'autorisation de construire pour les travaux envisagés. X._ n'y a pas fait opposition.
B. Le 21 juillet 2005, X._ a requis du Tribunal de première instance du canton de Genève des mesures provisionnelles à l'encontre de Y._. Celles-ci tendaient à faire suspendre immédiatement les travaux de construction sur la parcelle de ce dernier et à interdire la poursuite de tous travaux excédant l'exercice de la servitude, le tout sous menace des peines prévues à l'<ref-law>. Le Tribunal a fait droit à sa requête par ordonnance sur mesures provisionnelles du 4 août 2005. Celle-ci a toutefois été annulée par la Cour de Justice le 3 novembre 2005, arrêt confirmé par le Tribunal de céans le 9 janvier 2006 (arrêt 5P.422/2005).
C. Par acte déposé au greffe du Tribunal de première instance le 12 septembre 2005, X._ a formé, à l'encontre de Y._, une demande au fond tendant à ce qu'il soit fait interdiction à ce dernier, jusqu'au 2 décembre 2012, de réaliser une construction contraire à la servitude de non-bâtir grevant sa parcelle au profit de la parcelle no 5683, à ce qu'il lui soit donné acte de ce que des travaux de rénovation ou des modifications intérieures sans impact sur l'emprise au sol, le volume ou le gabarit n'étaient pas contraires à la servitude et à ce qu'il soit condamné à démolir toute construction contraire à la servitude, le tout sous menace des peines prévues à l'<ref-law>.
La demande de X._ a été rejetée par le Tribunal de première instance, puis par la Cour de justice par arrêt du 20 février 2009.
D. X._ dépose un recours en matière civile devant le Tribunal fédéral contre cette dernière décision. Estimant que la cour cantonale a violé les art. 730 et 738 CC, le recourant conclut principalement à l'annulation de l'arrêt de la Cour de justice et à ce qu'il soit dit et constaté que les travaux de construction entrepris par Y._ violent la servitude de non-bâtir grevant la parcelle no 7967 en faveur de la parcelle no 5683. Il demande également la condamnation de Y._ au respect de ladite servitude ainsi qu'à la destruction des constructions et aménagements effectués en violation de cette servitude et conclut à ce qu'il lui soit fait interdiction d'ériger toute nouvelle construction ou d'agrandir, de modifier l'emprise au sol, le volume ou le gabarit des constructions figurant sur l'extrait du plan cadastral, partie intégrante de l'inscription de la servitude de non-bâtir au registre des servitudes. Subsidiairement, le recourant demande l'annulation de l'arrêt cantonal et le renvoi à l'autorité inférieure pour nouvelle décision dans le sens des considérants.
L'intimé n'a pas été invité à répondre.

Considérant en droit:
1. La décision entreprise est une décision finale (<ref-law>), rendue par une autorité cantonale de dernière instance (<ref-law>), dans une affaire civile (<ref-law>), de nature pécuniaire (cf. <ref-ruling> consid. 1a; arrêts 5A_23/2008 du 13 octobre 2008 consid. 1; 5C.29/2007 du 12 mars 2007 consid. 2.1), dont la valeur litigieuse de 30'000 fr. est atteinte (<ref-law>). Le présent recours a en outre été interjeté dans le délai prévu par la loi (<ref-law>), par la partie qui a succombé dans ses conclusions prises devant l'autorité précédente (<ref-law>), de sorte qu'il est en principe recevable.
2. 2.1 Saisi d'un recours en matière civile, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte (<ref-law>), c'est-à-dire que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation de l'interdiction de l'arbitraire que si ce grief a été invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (principe d'allégation; <ref-ruling> consid. 1.4).
2.2 Le Tribunal fédéral applique le droit d'office (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal ou à l'état de fait qu'il aura rectifié et complété conformément aux principes exposés ci-dessus. Il n'est lié ni par les motifs invoqués par les parties ni par l'argumentation juridique retenue par l'autorité cantonale (cf. <ref-ruling> consid. 3.1); iI peut donc admettre un recours pour un autre motif que ceux qui ont été invoqués par le recourant, comme il peut le rejeter en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 in fine, 297 consid. 3.1).
3. La Cour de justice a avant tout jugé que c'était à bon droit que le Tribunal de première instance avait considéré que les travaux entrepris par l'intimé étaient conformes à la servitude constituée en faveur du fonds appartenant au recourant. Estimant que l'inscription au registre foncier ne suffisait pas à déterminer l'étendue de la servitude litigieuse, la cour cantonale s'est référée à l'acte constitutif de la servitude. Une interprétation littérale de celui-ci permettait certes d'exclure la construction d'un bâtiment ayant une emprise au sol supérieure à celle prévue par ladite autorisation de construire, mais, si l'acte prévoyait l'interdiction de construire un "autre bâtiment", il ne couvrait pas, d'un point de vue littéral, l'hypothèse de l'extension du bâtiment existant, hypothèse litigieuse en l'espèce. Les juges cantonaux se sont alors référés au but que les parties recherchaient en constituant la servitude et, ainsi, à la convention passée le 30 octobre 1987 entre le recourant et le propriétaire de l'époque, la SI B._. Or, il ressortait de cette convention que l'objectif poursuivi par les constituants était d'éviter la construction d'un grand nombre d'habitations, et, ainsi, l'accroissement du trafic sur le chemin A._. Tel objectif ressortait d'ailleurs également des propos tenus par le recourant lui-même devant le Tribunal de première instance. Les juges cantonaux en ont dès lors conclu que la volonté commune et réelle des parties n'était pas d'interdire toute construction autre que celle prévue par l'autorisation de construire no 85875, mais uniquement celles qui pourraient avoir pour effet d'accroître le trafic sur le chemin A._.
La cour cantonale a ensuite considéré que la demande du recourant était abusive au sens de l'<ref-law>. Le recourant avait en effet eu connaissance de l'ampleur des travaux lorsque l'architecte mandaté par l'intimé s'était entretenu avec lui, le 18 avril 2005. Il ne s'était alors nullement opposé au projet et avait laissé les travaux débuter. Par ailleurs, lorsque le recourant avait déclaré, en juillet 2005, qu'il ne pouvait exclure de renoncer à se prévaloir de la servitude en échange d'une indemnité, il apparaissait qu'il ne cherchait pas uniquement à préserver l'harmonie du quartier et sa tranquillité. L'indemnité n'ayant pas été accordée, il avait alors déposé une demande de mesure provisionnelle, invoquant abusivement l'existence de la servitude.
4. 4.1 Le recourant se plaint de la violation des art. 730 et 738 CC, reprochant principalement aux juges cantonaux de ne pas s'en être tenus à la lettre et au but de l'acte constitutif, lesquels viseraient à interdire au propriétaire de la parcelle actuellement propriété de l'intimé de modifier le bâtiment visé par l'autorisation de construire no 85875 de manière à augmenter son emprise au sol. A plusieurs reprises, les parties à l'acte constitutif s'étaient référées à ladite autorisation de construire, de même qu'au plan y annexé, indiquant que celui-ci avait été visé "ne variatur". Elles démontraient ainsi leur volonté de ne pas voir l'emprise au sol modifiée. La convention passée le 30 octobre 1987 - res inter alios acta du point de vue de l'intimé - ne pouvait permettre d'interpréter le contenu de la servitude de manière contraire au sens littéral de son inscription, ni d'en modifier ou d'en supprimer le but. Le recourant soutient enfin que l'interprétation de la Cour de justice reviendrait en pratique à une inversion du but de la servitude. Elle permettrait en effet au propriétaire grevé de modifier complètement le bâtiment, voire d'en doubler ou d'en tripler la surface: tant que son projet n'entraînerait pas la densification de la circulation sur le chemin A._, il serait alors conforme à la servitude.
4. 4.1 Le recourant se plaint de la violation des art. 730 et 738 CC, reprochant principalement aux juges cantonaux de ne pas s'en être tenus à la lettre et au but de l'acte constitutif, lesquels viseraient à interdire au propriétaire de la parcelle actuellement propriété de l'intimé de modifier le bâtiment visé par l'autorisation de construire no 85875 de manière à augmenter son emprise au sol. A plusieurs reprises, les parties à l'acte constitutif s'étaient référées à ladite autorisation de construire, de même qu'au plan y annexé, indiquant que celui-ci avait été visé "ne variatur". Elles démontraient ainsi leur volonté de ne pas voir l'emprise au sol modifiée. La convention passée le 30 octobre 1987 - res inter alios acta du point de vue de l'intimé - ne pouvait permettre d'interpréter le contenu de la servitude de manière contraire au sens littéral de son inscription, ni d'en modifier ou d'en supprimer le but. Le recourant soutient enfin que l'interprétation de la Cour de justice reviendrait en pratique à une inversion du but de la servitude. Elle permettrait en effet au propriétaire grevé de modifier complètement le bâtiment, voire d'en doubler ou d'en tripler la surface: tant que son projet n'entraînerait pas la densification de la circulation sur le chemin A._, il serait alors conforme à la servitude.
4.2 4.2.1 Aux termes de l'<ref-law>, l'inscription fait règle, en tant qu'elle désigne clairement les droits et les obligations dérivant de la servitude. Pour déterminer le contenu d'une servitude, il faut donc se reporter en priorité à l'inscription au registre foncier, c'est-à-dire à l'inscription au feuillet du grand livre; comme pour la constitution de la servitude, c'est l'inscription au feuillet du fonds servant qui est décisive (Paul-Henri Steinauer, Les droits réels, t. II, 3e éd. 2002, n. 2289).
4.2.2 L'inscription se limite en principe à indiquer le genre de droit ou de charge dont il s'agit, avec parfois un renvoi au plan, ainsi que les numéros des fonds servant et dominant (Steinauer, op. cit., n. 2290). En raison du caractère sommaire de l'inscription, il est donc souvent nécessaire de recourir à d'autres éléments pour déterminer le contenu de la servitude. Selon l'<ref-law>, ce contenu peut alors être précisé en premier lieu par l'"origine" de la servitude, à savoir l'acte constitutif déposé comme pièce justificative au registre foncier (<ref-ruling> consid. 3.1; <ref-ruling> consid. 2a; arrêt 5C.126/2004 du 21 octobre 2004, consid. 2.3 in RNRF 2005 307; Steinauer, op. cit., n. 2292).
4.2.3 L'interprétation du contrat constitutif de servitude s'effectue selon les principes applicables à l'interprétation des contrats (<ref-ruling> consid. 2.5; <ref-ruling> consid. 3a et les arrêts cités). Le juge doit donc en premier lieu recourir à l'interprétation subjective, c'est-à-dire rechercher la réelle et commune intention des parties, le cas échéant empiriquement, sur la base d'indices, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la véritable nature de la convention (<ref-law>; <ref-ruling> consid. 2.3.2; <ref-ruling> consid. 3.1; <ref-ruling> consid. 4.1). La détermination de la volonté réelle relève des constatations de fait (ATF <ref-ruling> consid. 4) qui lient le Tribunal fédéral (<ref-law>). Si la volonté réelle des parties ne peut être établie ou si celle-ci est divergente, le juge doit recourir à l'interprétation objective, à savoir rechercher la volonté objective des parties selon le principe de la confiance (<ref-ruling> consid. 2.3.2; <ref-ruling> consid. 3.1). La recherche de la volonté objective des parties est une question de droit que le Tribunal fédéral examine librement (<ref-law>). Les faits postérieurs au moment où le contrat a été passé, en particulier le comportement ultérieur des parties, permettent d'établir quelles étaient à l'époque les conceptions des contractants eux-mêmes et constituent ainsi un indice de leur volonté réelle et non de leur volonté objective (<ref-ruling> consid. 2a/bb; <ref-ruling> consid. 4c; 107 II consid. 6 et les références).
4.2.3 L'interprétation du contrat constitutif de servitude s'effectue selon les principes applicables à l'interprétation des contrats (<ref-ruling> consid. 2.5; <ref-ruling> consid. 3a et les arrêts cités). Le juge doit donc en premier lieu recourir à l'interprétation subjective, c'est-à-dire rechercher la réelle et commune intention des parties, le cas échéant empiriquement, sur la base d'indices, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la véritable nature de la convention (<ref-law>; <ref-ruling> consid. 2.3.2; <ref-ruling> consid. 3.1; <ref-ruling> consid. 4.1). La détermination de la volonté réelle relève des constatations de fait (ATF <ref-ruling> consid. 4) qui lient le Tribunal fédéral (<ref-law>). Si la volonté réelle des parties ne peut être établie ou si celle-ci est divergente, le juge doit recourir à l'interprétation objective, à savoir rechercher la volonté objective des parties selon le principe de la confiance (<ref-ruling> consid. 2.3.2; <ref-ruling> consid. 3.1). La recherche de la volonté objective des parties est une question de droit que le Tribunal fédéral examine librement (<ref-law>). Les faits postérieurs au moment où le contrat a été passé, en particulier le comportement ultérieur des parties, permettent d'établir quelles étaient à l'époque les conceptions des contractants eux-mêmes et constituent ainsi un indice de leur volonté réelle et non de leur volonté objective (<ref-ruling> consid. 2a/bb; <ref-ruling> consid. 4c; 107 II consid. 6 et les références).
4.3 4.3.1 Se fondant sur la convention passée entre le recourant et la SI B._ le 30 novembre 1987 ainsi que sur les déclarations du recourant devant le Tribunal de première instance, la Cour de justice a déterminé la volonté réelle et commune des parties lors de la conclusion du contrat constitutif de servitude, c'est-à-dire leur volonté subjective (cf. consid. 3 et 4.2.3 supra). Que l'intimé ne fût pas partie à celui-ci est à cet égard sans incidence dans la mesure où il fait sienne la volonté des parties telle qu'établie par la cour cantonale. En tant que la détermination de la volonté réelle est une question de fait, que le Tribunal de céans ne peut revoir que sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire (consid. 4.2.3 supra), il appartenait en conséquence au recourant de soulever expressément ce grief (consid. 2.1 supra). Or, le recourant ne conteste pas avoir déclaré, devant le Tribunal de première instance, que l'obtention de la servitude visait surtout à éviter l'accroissement du trafic sur le chemin A._ et que la cour cantonale se serait en conséquence fondée de manière arbitraire sur ses déclarations. Il ne prétend pas non plus que c'est arbitrairement que les juges cantonaux se seraient référés à la convention séparée du 30 novembre 1987, pas plus qu'il ne soutient que l'interprétation à laquelle la Cour de justice est parvenue serait arbitraire. Son grief est en conséquence irrecevable (consid. 2.1 supra).
4.3.2 Au demeurant, le recourant ne démontre pas en quoi il serait arbitraire d'avoir retenu qu'il a eu connaissance des plans d'agrandissement le 18 avril 2005, lors de sa rencontre avec l'architecte mandaté pour effectuer les travaux projetés; il ne conteste pas le fait de ne pas s'être opposé à l'autorisation de construire accordée à l'intimé. Ces constatations de fait, qui lient le Tribunal de céans, vont à l'encontre de l'interprétation que tente de donner le recourant au contrat de servitude. Son absence de réaction, alors que l'agrandissement projeté lui était connu, renforce ainsi l'interprétation subjective que les juges cantonaux ont donnée au contrat constitutif de servitude.
L'intimé ne saurait toutefois déduire sans autres du présent arrêt qu'il est autorisé à ériger des constructions supplémentaires sur sa parcelle.
5. Le sort du recours étant scellé par le précédent considérant, il est superflu d'examiner le motif fondé sur l'abus de droit (<ref-ruling> consid. 6; <ref-ruling> consid. 6a) que le recourant a également critiqué.
6. Vu ce qui précède, le recours doit être déclaré irrecevable, aux frais de son auteur (<ref-law>). Il n'est pas alloué de dépens à l'intimé qui n'a pas été invité à présenter d'observations.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 12'000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 12 mai 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl de Poret