Faits: A. A.a A._ est locataire d'une surface commerciale dans l'immeuble sis au 27, rue xxx à Lausanne. Il y exploite un commerce de véhicules à deux roues, A._ et fils. A._ ne dispose d'aucun droit de propriété sur ledit immeuble. Pendant plusieurs années, A._ a bénéficié d'un contrat de bail portant sur une place de parc se trouvant dans la cour de l'immeuble voisin, sis au 25, rue xxx. Malgré ce droit d'usage clairement défini, A._ disposait en réalité librement de toute la cour de l'immeuble ainsi que de deux caves, également situées au 25, rue xxx. A.b C._ a acquis l'immeuble de la rue xxx 25 suite au décès de D._, dont elle était l'unique héritière. Le notaire E._ était exécuteur testamentaire de cette succession. Le 14 décembre 2000, Me E._ a informé A._ que, conformément à ce que ce dernier avait convenu avec C._, il ne devrait plus payer de loyer pour l'usage de la place de parc se trouvant sur l'immeuble de C._. Par courrier du 31 janvier 2001, contresigné par C._, A._ a précisé au notaire ce qui suit: "(...)Il est certains (sic) que des malentendus ou des décisions ont été mal interprétées. Pour faire le point: La volonté de Mme C._ était de faire une donation de la Cour, mais pour les raisons que vous conaissez (sic), elle opte pour une servitude, ou éventuellement un droit de surface, mais aucunement de bails (sic), même de longue durée. Ceci est valable pour toute la cour, et non pour une place de voiture, de plus la servitude doit être en faveur de A._ et fils et ceci pendant tout le temps que la dite raison sociale sera en activité. (...)" C._ a été inscrite en qualité de propriétaire au registre foncier en date du 5 février 2001. Aucune servitude ou droit d'usage n'a fait l'objet d'une inscription en faveur de A._. A.c Par acte authentique du 3 octobre 2003, instrumenté par Me E._, C._ a donné à son neveu B._ l'immeuble dont elle avait hérité. Sous chiffre II.3 paragraphe 4 dudit acte, il était expressément mentionné que le donateur déclarait qu'il n'existait aucune convention orale ou tacite entre lui-même ou des tiers, mettant ces derniers au bénéfice d'avantages quelconques. B._ a été inscrit comme propriétaire au registre foncier le 7 octobre 2003. Par l'intermédiaire de la Régie X._ SA, B._ a alors demandé à A._ de bien vouloir débarrasser le matériel entreposé dans la cour et les caves de l'immeuble lui appartenant et de libérer la place de parc sur laquelle il garait son véhicule. Un délai au 31 décembre 2003 lui était imparti pour ce faire. A.d Ce dernier courrier a donné suite à des échanges de correspondance entre le conseil de A._ et Me E._, le second affirmant que C._ avait unilatéralement renoncé à la libéralité qu'elle avait envisagée de faire à A._. De son côté, par courrier du 18 novembre 2003, C._ faisait savoir à A._ que sa promesse était toujours d'actualité et qu'elle n'avait pas changé d'avis. Le 5 décembre 2003, agissant par le biais de son conseil, B._ a mis A._ en demeure de libérer la cour et les deux caves occupées au 31 décembre 2003. B. Le 8 janvier 2004, A._ a déposé une demande devant le Tribunal d'arrondissement de Lausanne, concluant à ce qu'une servitude, grevant l'immeuble sis au 25, rue xxx, soit inscrite en sa faveur et en celle de ses descendants, aussi longtemps que l'un d'eux exploiterait le commerce situé au 27, rue xxx. Cette servitude devait consister en l'usage de la cour de l'immeuble grevé. Me E._ et C._ ont été entendus au cours de la procédure. Le témoignage de C._ démontre que celle-ci entendait bien donner la cour à A._ et que le notaire devait se charger de tout régler. Celui-ci a indiqué qu'au vu du coût prohibitif de la servitude, il avait considéré que C._ avait renoncé au projet. C._ est décédée le 3 mars 2005, laissant pour héritiers B._ ainsi qu'un autre neveu, lesquels ont expressément accepté la succession. La demande de A._ a été rejetée par le Tribunal d'arrondissement de Lausanne, puis par la Chambre des recours du Tribunal cantonal vaudois le 10 mars 2008. Ce dernier arrêt a été notifié aux parties le 18 juillet 2008. C. A._ interjette recours en matière civile contre la décision de la Chambre des recours. Le recourant conclut principalement à l'inscription au registre foncier de la servitude d'usage sur la cour, subsidiairement au renvoi du dossier à l'instance inférieure pour nouvelles instruction et décision quant à l'assiette et à l'étendue de la servitude. L'intimé n'a pas été invité à répondre.