Faits:
A. X._ est propriétaire de la parcelle n° 313 de la commune de Y._. Cette parcelle se situe à l'embouchure de la rivière Z._: elle jouxte sa rive gauche à l'ouest et le lac Léman au sud.
Par décret du 13 mai 1957, le Grand Conseil du canton de Vaud a constitué une entreprise de correction de la rivière Z._ à son embouchure pour permettre des travaux d'endiguement du tronçon inférieur de la rivière. Ceux-ci ainsi que l'abornement du domaine public ont été réalisés en 1959. Depuis cette date, divers travaux ont été effectués à l'embouchure de la rivière par les autorités publiques, d'une part, et par X._, d'autre part.
B. B.a Une nouvelle mensuration cadastrale de la commune de Y._ a été mise à l'enquête publique du 10 juillet au 8 août 1995. Le 7 août 1995, X._ a formé opposition s'agissant de la mensuration de la parcelle n° 313. Cette opposition a été levée le 1er novembre 1995 par le Service du cadastre et du Registre foncier du canton de Vaud.
Dans le cadre de la procédure relative au recours déposé par X._ auprès du Tribunal administratif du canton de Vaud, le Service des eaux et de la protection de l'environnement dudit canton a procédé, le 4 septembre 1996, au piquetage d'une nouvelle limite en vue de pourparlers transactionnels, lesquels n'ont jamais abouti. Par arrêt du 21 mars 2006, le Tribunal administratif a partiellement admis le recours et renvoyé la cause pour nouvelle décision au Service de l'information sur le territoire lequel a succédé au Service du cadastre et du Registre foncier. Le Tribunal fédéral n'est pas entré en matière sur le recours formé par X._ contre cet arrêt.
B.b Statuant sur renvoi en date du 22 juin 2007, le Service de l'information sur le territoire a fixé les limites de la parcelle n° 313 conformément au piquetage effectué par le Service des eaux et de la protection de l'environnement le 4 septembre 1996.
B.c X._ a recouru contre cette décision auprès du Tribunal administratif. Par arrêt du 10 août 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a partiellement admis son recours et renvoyé la cause pour nouvelle décision à l'Office de l'information sur le territoire, qui a succédé au Service de l'information sur le territoire. Ladite Cour a en effet confirmé le tracé retenu en première instance pour ce qui est de la limite avec la rive gauche de la rivière Z._ mais a requis de l'autorité inférieure qu'elle procède à de nouvelles mensurations le long du lac Léman.
C. X._ exerce un recours en matière de droit public et un recours constitutionnel subsidiaire au Tribunal fédéral contre cet arrêt, concluant à son annulation et au renvoi de la cause pour nouvelle décision. Il se plaint d'une violation des art. 9, 26 ainsi que 29 Cst. et de ce que les faits ont été constatés de manière manifestement inexacte ou en violation du droit.
Le Tribunal cantonal du canton de Vaud et l'Office de l'information sur le territoire n'ont pas été invités à se déterminer sur le recours.
Considérant en droit:
1. Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (ATF 134 III 115 consid. 1 et les références citées).
1.1 Le recours en matière civile (art. 72 ss LTF) est ouvert contre les décisions rendues en matière civile. Sont également sujettes au recours en matière civile les décisions prises en application de normes de droit public dans des matières connexes au droit civil (art. 72 al. 2 let. b LTF). L'emploi de l'adverbe "notamment" en tête de l'énumération contenue dans cette disposition montre que la jurisprudence peut assujettir au recours en matière civile d'autres causes de droit public que celles énumérées, si elle estime qu'elles présentent une connexité suffisante avec le droit civil (cf. CORBOZ, Commentaire de la LTF, n. 48 ad. art. 72 LTF). En l'espèce, le recours est dirigé contre un arrêt rendu par une autorité administrative en matière de mensuration cadastrale. Cette décision relève de la propriété foncière (cf. art. 655 ss CC, plus particulièrement art. 659 et 664 CC), à savoir d'un domaine connexe au droit civil; partant, la voie du recours en matière civile est ouverte.
Le recourant a intitulé son mémoire « recours en matière de droit public », en conformité avec l'indication erronée des voies de recours figurant dans l'arrêt attaqué. Cette écriture sera convertie d'office en recours en matière civile, dans la mesure où elle en remplit les autres conditions de recevabilité (ATF 134 III 379 consid. 1.2, 133 III 462 consid. 2.1).
1.2 Le recours a été interjeté - compte tenu des féries estivales (art. 46 al. 1 let. b LTF) - dans le délai (art. 100 al. 2 let. a LTF) et la forme (art. 42 LTF) prévus par la loi, par une partie qui a partiellement succombé dans ses conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF), et dirigé contre une décision rendue par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), de sorte qu'il est recevable au regard de ces dispositions.
1.3 La recevabilité du recours en matière civile suppose encore que celui-ci soit dirigé contre une décision finale, à savoir une décision mettant fin à la procédure (art. 90 LTF). Il est également recevable contre toute décision qui statue sur un objet dont le sort est indépendant de celui qui reste en cause ou qui met fin à la procédure à l'égard d'une partie des consorts (décision partielle; art. 91 let. a et b LTF), ainsi que contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (art. 92 al. 1 LTF). Les autres décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. a et b LTF). Si le recours n'est pas recevable, faute de remplir ces conditions, ou qu'il n'a pas été utilisé, la décision préjudicielle ou incidente peut être attaquée avec la décision finale dans la mesure où elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF).
Un jugement qui ne tranche que certains aspects d'un rapport juridique litigieux n'est en principe pas un jugement partiel, mais un jugement incident ou préjudiciel. Tel sera le cas, par exemple, d'un jugement de renvoi de la cause à l'administration pour nouvelle décision. Même s'il comporte des instructions sur la manière de trancher certains aspects du rapport de droit litigieux, ce jugement de renvoi ne peut être qualifié de partiel au sens de l'art. 91 LTF; il ne peut faire l'objet d'un recours qu'aux conditions de l'art. 93 LTF (ATF 133 V 477 consid. 4). En outre, de manière générale, une décision de renvoi n'est pas de nature à causer un préjudice irréparable aux parties, le seul allongement de la durée de la procédure ou le seul accroissement des frais de celle-ci n'étant pas considérés comme des éléments constitutifs d'un tel dommage (ATF 134 III 426 consid. 1.3). Néanmoins, si le renvoi ne laisse aucune latitude de jugement à l'autorité cantonale inférieure appelée à statuer (à nouveau), il est assimilé à une décision finale et peut, de ce fait, faire l'objet d'un recours immédiat au Tribunal fédéral (ATF 133 V 477 consid. 5.2.2 et les références citées). Cette réglementation est fondée sur des motifs d'économie de procédure; en tant que cour suprême, le Tribunal fédéral doit en principe ne s'occuper qu'une seule fois d'un procès, et cela seulement lorsqu'il est certain que le recourant subit effectivement un dommage définitif (ATF 134 IV 43 consid. 2.1; 133 III 629 consid. 2.1).
1.4 En l'espèce, le recourant affirme que le renvoi ne laisse aucune latitude de jugement à l'autorité appelée à statuer à nouveau en ce qui concerne la limite entre le domaine public et la parcelle n° 313 le long de la rivière, de sorte qu'il convient de l'assimiler à une décision finale pouvant faire l'objet d'un recours immédiat au Tribunal fédéral. Cela étant, il reconnaît expressément que la mensuration de la parcelle en cause nécessite de l'autorité cantonale inférieure qu'elle procède à une nouvelle délimitation tenant compte de la situation actuelle s'agissant du sud de la parcelle qui jouxte le lac Léman. En conséquence, le recourant entend attaquer la seule fixation de la limite entre le domaine public et la parcelle n° 313 le long de la rivière. Il prétend en quelque sorte qu'il s'agirait d'une décision partielle. Or, conformément à la jurisprudence susmentionnée (cf. consid. 1.3 supra), un jugement qui ne tranche que certains aspects d'un rapport juridique litigieux n'est en principe pas un jugement partiel, mais un jugement incident ou préjudiciel. En l'occurrence, il n'y a pas lieu de s'écarter de ce principe. L'arrêt attaqué ne peut ainsi faire l'objet d'un recours qu'aux conditions alternatives de l'art. 93 al. 1 let. a et b LTF.
1.5 Le recourant ne prétend nullement que l'arrêt de renvoi lui causerait un préjudice irréparable; en particulier, il ne soutient pas qu'il subirait un tel préjudice, même si la décision finale devait lui être favorable. Il n'expose pas non plus en quoi l'admission du recours pourrait conduire immédiatement à une décision finale qui permettrait d'éviter une procédure probatoire longue et coûteuse. Or, lorsque, comme en l'espèce, il n'est pas manifeste que l'une des conditions (alternatives) d'entrée en matière prévues à l'art. 93 LTF soit remplie, il appartient au recourant de le démontrer ou du moins de l'alléguer, faute de quoi le recours est déclaré irrecevable (ATF 134 III 426 consid. 1.2; 133 III 629 consid. 2.4.2). Il n'y a donc pas lieu d'entrer en matière sur le recours en matière civile ni sur le recours constitutionnel subsidiaire (art. 117 LTF).
2. Sur le vu de ce qui précède, les recours sont irrecevables. Les frais judiciaires seront mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière civile et le recours constitutionnel subsidiaire sont irrecevables.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à l'Office de l'information sur le territoire et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 novembre 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Hohl Richard