Faits : A. A.a X._ est propriétaire de la parcelle n ̊yyy située à La Conversion. Le 11 avril 2002, il a signé avec X._ un acte de vente portant sur l'acquisition de la parcelle contiguë n ̊xxx de la commune de Lutry, dont il était alors propriétaire. La parcelle n ̊yyy bénéficie d'une servitude de passage à pieds et pour tous véhicules immatriculée au registre foncier qui, dans son nouveau tracé, grève pratiquement toute la longueur de la parcelle n ̊xxx. L'assiette de cette servitude permet d'accéder à la parcelle n ̊yyy depuis le domaine public en traversant le fonds servant. Le 6 mai 2002, la municipalité de Lutry a délivré le permis de construire ce chemin d'accès à la parcelle n ̊yyy. Au début de l'année 2003, Y._ a indiqué à certains de ses voisins qu'il voulait construire trois logements sur sa parcelle. X._ lui a répondu qu'il n'était d'accord qu'avec la construction d'une voie desservant la propriété d'un seul logement. Par la suite, il s'est opposé aux travaux d'aménagement de l'assiette de la servitude située sur sa parcelle. A.b Par demande déposée le 4 juin 2004, Y._ a ouvert action devant le Président du Tribunal civil de l'arrondissement de l'Est vaudois. Il a notamment conclu à ce qu'il soit autorisé à aménager des canalisations ainsi qu'un chemin d'accès sur l'assiette de la servitude en question, conformément au permis de construire délivré le 6 mai 2002, et à ce que le défendeur soit son débiteur de la somme de 13'390 fr.40, avec intérêts à 5% l'an dès le 3 juin 2004. Dans sa réponse déposée le 11 août 2004, ce dernier s'est opposé à l'action et a notamment demandé, à titre reconventionnel, que la servitude soit limitée, sur la longueur de son assiette se trouvant sur sa parcelle, à la desserte d'une seule villa individuelle, d'une part, et que le demandeur répare les dommages causés sur sa propriété ensuite des travaux entrepris, d'autre part. Les parties ont été entendues lors de l'audience de jugement qui s'est tenue le 2 mai 2006. A cette occasion, elles ont signé une convention partielle portant sur la constitution et les conditions d'exercice de la servitude. B. Par jugement du 5 mai 2006, le Tribunal civil de l'arrondissement de l'Est vaudois a, entre autres points, ratifié pour valoir jugement partiel la convention signée entre les parties le 2 mai 2006, dit que X._ doit immédiatement à Y._ la somme de 12'119 fr.90 avec intérêts à 5% l'an dès le 3 juin 2004, enfin, rejeté la conclusion reconventionnelle tendant à ce que la servitude soit limitée à la desserte d'une seule villa individuelle, ainsi qu'une partie de celles visant à la réparation des dommages causés par les travaux entrepris. Par arrêt du 14 février 2007, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par X._ et confirmé le jugement de première instance. Cette autorité a notamment considéré que le motif de récusation soulevé à l'encontre du juge Z._, qui avait fait partie du tribunal appelé à statuer dans la présente cause, se révélait tardif. C. X._ exerce un recours en matière civile et un recours constitutionnel subsidiaire contre l'arrêt du 14 février 2007, en reprenant les conclusions soumises à la Chambre des recours. L'intimé propose le rejet des recours. L'autorité cantonale s'est référée aux considérants de son arrêt.