Faits:
A. A.a A._ est locataire d'une surface commerciale dans l'immeuble sis au 27, rue xxx à Lausanne. Il y exploite un commerce de véhicules à deux roues, A._ et fils. A._ ne dispose d'aucun droit de propriété sur ledit immeuble.
Pendant plusieurs années, A._ a bénéficié d'un contrat de bail portant sur une place de parc se trouvant dans la cour de l'immeuble voisin, sis au 25, rue xxx. Malgré ce droit d'usage clairement défini, A._ disposait en réalité librement de toute la cour de l'immeuble ainsi que de deux caves, également situées au 25, rue xxx.
A.b C._ a acquis l'immeuble de la rue xxx 25 suite au décès de D._, dont elle était l'unique héritière. Le notaire E._ était exécuteur testamentaire de cette succession.
Le 14 décembre 2000, Me E._ a informé A._ que, conformément à ce que ce dernier avait convenu avec C._, il ne devrait plus payer de loyer pour l'usage de la place de parc se trouvant sur l'immeuble de C._. Par courrier du 31 janvier 2001, contresigné par C._, A._ a précisé au notaire ce qui suit:
"(...)Il est certains (sic) que des malentendus ou des décisions ont été mal interprétées.
Pour faire le point:
La volonté de Mme C._ était de faire une donation de la Cour, mais pour les raisons que vous conaissez (sic), elle opte pour une servitude, ou éventuellement un droit de surface, mais aucunement de bails (sic), même de longue durée.
Ceci est valable pour toute la cour, et non pour une place de voiture, de plus la servitude doit être en faveur de A._ et fils et ceci pendant tout le temps que la dite raison sociale sera en activité. (...)"
C._ a été inscrite en qualité de propriétaire au registre foncier en date du 5 février 2001. Aucune servitude ou droit d'usage n'a fait l'objet d'une inscription en faveur de A._.
A.c Par acte authentique du 3 octobre 2003, instrumenté par Me E._, C._ a donné à son neveu B._ l'immeuble dont elle avait hérité. Sous chiffre II.3 paragraphe 4 dudit acte, il était expressément mentionné que le donateur déclarait qu'il n'existait aucune convention orale ou tacite entre lui-même ou des tiers, mettant ces derniers au bénéfice d'avantages quelconques. B._ a été inscrit comme propriétaire au registre foncier le 7 octobre 2003.
Par l'intermédiaire de la Régie X._ SA, B._ a alors demandé à A._ de bien vouloir débarrasser le matériel entreposé dans la cour et les caves de l'immeuble lui appartenant et de libérer la place de parc sur laquelle il garait son véhicule. Un délai au 31 décembre 2003 lui était imparti pour ce faire.
A.d Ce dernier courrier a donné suite à des échanges de correspondance entre le conseil de A._ et Me E._, le second affirmant que C._ avait unilatéralement renoncé à la libéralité qu'elle avait envisagée de faire à A._.
De son côté, par courrier du 18 novembre 2003, C._ faisait savoir à A._ que sa promesse était toujours d'actualité et qu'elle n'avait pas changé d'avis.
Le 5 décembre 2003, agissant par le biais de son conseil, B._ a mis A._ en demeure de libérer la cour et les deux caves occupées au 31 décembre 2003.
B. Le 8 janvier 2004, A._ a déposé une demande devant le Tribunal d'arrondissement de Lausanne, concluant à ce qu'une servitude, grevant l'immeuble sis au 25, rue xxx, soit inscrite en sa faveur et en celle de ses descendants, aussi longtemps que l'un d'eux exploiterait le commerce situé au 27, rue xxx. Cette servitude devait consister en l'usage de la cour de l'immeuble grevé.
Me E._ et C._ ont été entendus au cours de la procédure. Le témoignage de C._ démontre que celle-ci entendait bien donner la cour à A._ et que le notaire devait se charger de tout régler. Celui-ci a indiqué qu'au vu du coût prohibitif de la servitude, il avait considéré que C._ avait renoncé au projet.
C._ est décédée le 3 mars 2005, laissant pour héritiers B._ ainsi qu'un autre neveu, lesquels ont expressément accepté la succession.
La demande de A._ a été rejetée par le Tribunal d'arrondissement de Lausanne, puis par la Chambre des recours du Tribunal cantonal vaudois le 10 mars 2008. Ce dernier arrêt a été notifié aux parties le 18 juillet 2008.
C. A._ interjette recours en matière civile contre la décision de la Chambre des recours. Le recourant conclut principalement à l'inscription au registre foncier de la servitude d'usage sur la cour, subsidiairement au renvoi du dossier à l'instance inférieure pour nouvelles instruction et décision quant à l'assiette et à l'étendue de la servitude.
L'intimé n'a pas été invité à répondre.

Considérant en droit:
1. 1.1 Le jugement attaqué tranche une contestation civile (art. 72 al. 1 LTF) portant sur l'inscription d'une servitude grevant le fonds de l'intimé en faveur du recourant, à savoir un droit de nature pécuniaire (<ref-ruling>; <ref-ruling> consid. 1; 5C.302/2006 du 20 septembre 2007 consid. 2 non publié in <ref-ruling>; 5C.246/2004 du 2 mars 2005 consid. 1 non publié in JdT 2005 I 140).
Le recours en matière civile n'est ouvert que si la valeur litigieuse minimale fixée par la loi, en l'espèce 30'000 fr., est atteinte (art. 74 al. 1 let. b LTF). C'est le montant encore litigieux devant la dernière instance cantonale qui est déterminant (art. 51 al. 1 let. a LTF). L'autorité cantonale de dernière instance doit mentionner la valeur litigieuse dans son arrêt (art. 112 al. 1 let. d LTF). Si les conclusions ne tendent pas au paiement d'une somme d'argent déterminée, le Tribunal fédéral vérifie librement la valeur litigieuse selon son appréciation (art. 51 al. 2 LTF). Il n'est lié pour cela ni par l'estimation de la partie recourante ou un accord des parties (<ref-ruling> consid. 1c/ee), ni par une estimation manifestement erronée de l'autorité cantonale.
En l'espèce, l'autorité cantonale ne se prononce pas sur la valeur de la servitude contestée. Une expertise, demandée par le notaire E._, fixe cependant le coût approximatif de la servitude à 200'000 fr. La procédure ne contenant aucun indice permettant de mettre en doute cette valeur, celle-ci sera considérée comme étant déterminante, de sorte qu'il y a lieu de retenir que le seuil de la valeur litigieuse est atteint.
1.2 Pour ce qui est des autres conditions de recevabilité, le présent recours a été interjeté dans le délai (art. 46 al. 1 let. b et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF). Il est enfin dirigé contre une décision finale (art. 90 LTF), rendue par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), de sorte qu'il est recevable.
2. La cour cantonale a fondé sa décision sur une double motivation. Elle a avant tout considéré que le courrier du 31 janvier 2001, sur lequel se fonde le recourant pour prétendre à l'inscription de la servitude, n'était pas un contrat constitutif de servitude, mais une promesse de donner. Ainsi que le prévoit l'art. 243 al. 2 CO, celle-ci devait revêtir la forme authentique. A défaut du respect de cette forme, l'acte de donation devait être considéré comme nul, conformément à l'art. 11 al. 2 CO. La Chambre des recours a ensuite jugé que, même en faisant abstraction de la forme prescrite à l'art. 243 al. 2 CO, il fallait considérer que le courrier du 31 janvier 2001 ne renfermait pas les éléments nécessaires pour déterminer la charge imposée au propriétaire du fonds dominant, de sorte qu'on ne pouvait considérer qu'un acte constitutif (sic) était venu à chef.
3. S'en prenant à la première motivation cantonale, le recourant affirme que la servitude qui doit être inscrite en sa faveur ne serait pas un véritable droit réel immobilier au sens de l'art. 243 al. 2 CO. Il soutient ensuite que la servitude à inscrire ne résulterait pas d'une libéralité, car, en renonçant à la donation initiale que C._ souhaitait lui faire - à savoir la donation de la cour en pleine propriété -, il aurait fourni une contre-prestation. Il ne s'agirait donc pas d'une donation, comme initialement prévu, mais bien d'un contrat constitutif de servitude, pour lequel la forme écrite était suffisante. Le recourant relève également qu'il n'y aurait pas de raisons justifiant le respect de la forme authentique pour la promesse de donner une servitude alors que la seule forme écrite suffit pour constituer une servitude. L'art. 243 al. 2 CO devrait ainsi se comprendre en relation avec les art. 680 et 732 CC, de sorte que, par droits réels immobiliers au sens de la première disposition, la loi n'entendrait que les droits réels immobiliers visés à l'art. 680 CC, à l'exception de ceux réglementés à l'art. 732 CC. Le recourant estime enfin que la forme authentique aurait néanmoins été respectée, dans la mesure où le témoignage verbalisé et signé par C._ devant le Tribunal d'arrondissement constituerait un acte authentique. Si celle-ci n'était plus propriétaire de l'immeuble à l'époque du témoignage, l'intimé, devenu débiteur de l'engagement pris par sa tante, se devait de constituer la servitude.
S'agissant de la seconde motivation avancée par la cour cantonale, le recourant prétend que le courrier du 31 janvier 2001, contresigné par C._, comprendrait toutes les clauses nécessaires à l'inscription de la servitude personnelle. L'assiette de la servitude et son objet seraient parfaitement déterminables: depuis juillet 1990, le recourant a en effet bénéficié d'un contrat de bail portant sur une place de parc se trouvant dans la cour de l'immeuble de l'intimé; des photos et des plans figureraient au dossier de la cause et permettraient en outre de se faire une idée très précise de l'usage que le recourant ferait de l'espace sur lequel devrait s'exercer la servitude; enfin, ses conclusions seraient les plus précises possibles à cet égard, de sorte qu'il n'existerait aucune ambiguïté sur la question. Si le moindre doute devait néanmoins subsister, le recourant demande le renvoi du dossier à la Chambre des recours afin qu'elle instruise sur ce point précis.
4. 4.1 La servitude dont le recourant demande l'inscription est une servitude personnelle au sens de l'art. 781 CC, soit une servitude existant au profit d'une personne individuellement déterminée. Dans la mesure où cette servitude doit être transmissible à ses descendants, en tant que l'un d'eux exploitera la raison sociale familiale, il s'agit d'une servitude personnelle irrégulière (Paul-Henri Steinauer, Les droits réels, tome II, 3e éd. 2002, n. 2192; Etienne Petitpierre, in Basler Kommentar, Zivilgesetzbuch II, 3e éd. 2007, n. 4 ad art. 730). Conformément à l'art. 781 al. 3 CC, les dispositions concernant les servitudes foncières sont applicables aux servitudes personnelles (cf. également <ref-ruling> consid. 6, p. 339).
Pour pouvoir être inscrite au registre foncier, la servitude doit reposer sur un titre d'acquisition (art. 965 CC). Ce sera généralement un contrat de servitude (art. 732 CC), passé entre le propriétaire grevé et le bénéficiaire du droit. L'acte constitutif doit renfermer tous les éléments servant à déterminer la charge imposée au propriétaire du fonds grevé. Il doit ainsi désigner le fonds dominant et le bénéficiaire de la servitude, indiquer de façon précise le contenu de la servitude, faire apparaître la volonté des parties de constituer un droit réel, éventuellement définir les obligations accessoires de faire (entretien, etc.) incombant au propriétaire du fonds servant (cf. notamment STEINAUER, op. cit. n. 2226; PAUL PIOTET, Traité de droit privé suisse, V/3, Les droit réels limités en général, les servitudes et les charges foncières, Fribourg 1978, p. 42; <ref-ruling> consid. 4 p. 615).
Si l'exercice de la servitude est limité à une partie de l'immeuble grevé, le contrat doit encore préciser l'assiette de la servitude, soit par un plan de géomètre, soit par tout autre moyen suffisant (plan privé, description par des mots) (cf. ROLAND PFÄFFLI, Rechtsprechung und ausgewählte Rechtsfragen 1997, Le notaire bernois [NB] 1997 p. 156 n. 17; Michel Mooser, La description de l'assiette d'une servitude, Revue suisse du notariat et du registre foncier [RNRF] 1991 p. 259). Le contenu de la servitude doit de plus être suffisamment clair non seulement pour les parties au contrat constitutif, mais également pour les tiers (PETITPIERRE, op. cit. n. 12 ad art. 732; Peter Liver, Berner Kommentar, Die Dienstbakeiten und Grundlasten [art. 730 bis 792], 2e éd. 1968, n. 23 ad art. 732; Mooser, op. cit., p. 259; cf. également PFÄFFLI, Rechtsprechung und ausgewählte Rechtsfragen 1994, NB 1994 p. 305 n. 24).
4.2 Contrairement à ce que soutient le recourant, la constitution de la servitude n'était soumise à aucune contre-prestation de sa part. On ne peut en effet considérer que le fait qu'il ait renoncé à l'octroi d'un droit de propriété constitue une contre-prestation, de sorte qu'il convient de considérer que la constitution de la servitude devait se faire à titre gratuit.
S'il ressort du courrier produit par le recourant, puis des témoignages tenus devant le Tribunal d'arrondissement, que C._ entendait bien constituer une servitude en sa faveur, force est d'admettre que l'assiette de cette servitude, élément essentiel de l'acte constitutif, n'était pas déterminable. D'après le courrier et les témoignages, cette servitude devait s'exercer sur la "cour". Dans les conclusions de sa demande en justice, le recourant décrit l'assiette de la servitude à laquelle il prétend avec beaucoup plus de précisions qu'il ne l'avait fait dans le courrier adressé au notaire. A la lecture des motifs de l'acte de recours déposé par l'intéressé devant le Tribunal de céans, il semble ensuite que cette servitude ne devrait finalement s'exercer que sur la place de parc louée depuis 1990 et non plus sur l'intégralité de la surface de la cour. Le recourant soutient en effet qu'il convient de se référer au contrat de bail dont il était titulaire pour déterminer l'assiette de la servitude. Si ce contrat de bail n'a pas été produit en instance cantonale, il ressort néanmoins des constatations de fait, non contestées par le recourant, que la surface louée consistait en une place de parc se trouvant dans la cour ainsi qu'en une zone de stationnement de véhicules à deux roues, derrière l'immeuble. La superficie décrite semble donc en contradiction avec celle évoquée dans le courrier adressé au notaire. Le recourant y indiquait en effet que la servitude à constituer était "valable pour toute la cour et non pour une place de voiture". Enfin, dans la mesure où le recourant demande le renvoi à l'autorité cantonale aux fins de préciser l'assiette de la servitude, il apparaît évident que celle-ci n'était donc pas clairement déterminée dans l'acte constitutif. Il s'ensuit que le courrier du 31 janvier 2001, sur lequel le recourant fonde ses droits, ne peut être assimilé à un contrat constitutif de servitude.
4.3 Si, au vu de ce qui précède, l'existence d'un tel contrat ne peut être retenue, il sied pourtant de reconnaître que C._ a exprimé le souhait de constituer gratuitement, en faveur du recourant, une servitude grevant la cour de l'immeuble sis au 25, rue xxx. Il y a dès lors lieu d'examiner si le courrier produit par le recourant représente une promesse, de la part de C._, de constituer une servitude. Que celle-ci soit de nature personnelle et non foncière ne l'empêche pas de revêtir le caractère d'un droit réel immobilier au sens de l'art. 243 al. 2 CO, au contraire de ce qu'affirme le recourant. La question de savoir s'il suffisait que cette promesse soit revêtue de la forme écrite ainsi qu'il le prétend, ou de la forme authentique, ainsi que l'a jugé la dernière instance cantonale peut néanmoins rester ouverte. En effet, quelle que soit la forme prescrite, celle-ci doit couvrir tous les éléments essentiels du contrat (<ref-ruling> consid. 2a; PIERRE TERCIER, Les contrats spéciaux, p. 236, n. 1621; Pierre Engel, Contrats de droit suisse, 2e éd. 2000, p. 117; Piotet, op. cit., p. 46). Il faut par conséquent en conclure que ceux-ci doivent impérativement figurer dans la promesse de donner elle-même (Margareta Baddeley, in Commentaire romand, Code des obligations I, 2003, n. 4 ad art. 243 CO). Or, ainsi que relevé plus haut, lorsque le droit de servitude doit s'exercer sur une partie seulement de l'immeuble grevé, les parties doivent déterminer précisément son assiette, laquelle doit également être déterminable pour les tiers. L'assiette de la servitude figure en effet au nombre des éléments essentiels du contrat de servitude (cf. consid. 4.1 supra). En tant que l'assiette de la servitude n'est pas déterminable à la lecture du courrier produit par le recourant, il apparaît que l'un des éléments essentiels de la promesse de donner fait défaut et que celle-ci doit, en conséquence, être considérée comme nulle. Au demeurant, le recourant ne prétend pas à la condamnation de l'intimé à exécuter la promesse de contracter formulée par sa tante - dont il est l'héritier - mais ses conclusions tendent à l'inscription même de la servitude (cf. arrêt 5P.19/2005 du 25 mai 2005 consid. 2.2).
5. Il résulte de ce qui précède que le recours doit être rejeté, aux frais de son auteur (art. 66 al. 1 LTF). Aucun dépens n'est octroyé à l'intimé qui n'a pas été invité à répondre.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 janvier 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl de Poret