Sachverhalt:
A. Im Jahre 1988 bewilligte der Bundesrat das generelle Projekt "der zürcherischen N20/N4 mit Westumfahrung Birmensdorf und Üetlibergtunnel". Die befürchteten Verkehrszunahmen veranlassten den Kanton Aargau zur Planung von sogenannten Folgemassnahmen in der Region Mutschellen. Im November 2001 unterbreitete das Baudepartement des Kantons Aargau (Beschwerdegegner) dem Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK) das nach Art. 27 des Bundesgesetzes vom 8. März 1960 über die Nationalstrassen (NSG; SR 725.11) ausgearbeitete Ausführungsprojekt zur Genehmigung. Betreffend Ausbau bzw. Umbau der Kantonsstrasse "NK 410", die als Zubringer zum Nationalstrassenanschluss der N20 bei Birmensdorf dienen sollte, sah das Projekt zur Umfahrung der Gemeinde Oberwil-Lieli im Bereich des im Eigentum von X._ (Beschwerdeführer) stehenden Grundstücks IR Oberwil-Lieli Nr. yyyy, einen (inzwischen erstellten und dem Verkehr übergebenen) Tunnel vor, der das Grundstück des Beschwerdeführers unterquert. Das UVEK forderte den Beschwerdegegner zur öffentlichen Auflage des Gesuchs auf.
A.a Während das Gesuch vom 11. März bis 22. April 2002 im nationalstrassenrechtlichen Verfahren öffentlich auflag, reichte unter anderem auch der Beschwerdeführer Einsprache beim UVEK ein. Er forderte den Verzicht auf die vorgesehene Enteignung des vollen Eigentums an seinem Grundstück und verlangte stattdessen die Belastung seines Grundstücks mit einem beschränkten dinglichen Recht und damit die Einräumung einer "Tunnel-Dienstbarkeit". Im Februar 2004 erteilte das UVEK die Plangenehmigung, hiess die Einsprache des Beschwerdeführers "gegen die dauernde Enteignung" seines Grundeigentums gut und verfügte, "Für Bau und Betrieb des Werkes ist stattdessen die Einräumung der erforderlichen beschränkten dinglichen Rechte vorzusehen". Die Plangenehmigung erwuchs unangefochten in Rechtskraft.
A.b Im August 2006 schlossen der Beschwerdeführer als Eigentümer des Grundstücks IR Oberwil-Lieli Nr. yyyy, und der Beschwerdegegner als Dienstbarkeitsberechtigter einen Dienstbarkeitsvertrag ab. Darin vereinbarten die Parteien, dass der jeweilige Eigentümer des Grundstücks des Beschwerdeführers dem Beschwerdegegner für die Erstellung, Beibehaltung und den Betrieb eines unterirdischen Tunnels inklusive Strasse ein Baurecht einräumt. Im Gegenzug verpflichtete sich der Beschwerdegegner einerseits für die Einräumung der Dienstbarkeit zur Leistung einer pauschalen Entschädigung von Fr. 241'310.-- sowie anderseits für die Anker und die vorübergehende Landbeanspruchung zu einer zusätzlichen Entschädigung von Fr. 440.-- pro Anker und Fr. 0.48 pro Quadratmeter und Jahr für die vorübergehende Landbeanspruchung ("Ankerentschädigung"). Die Parteien bestätigten, dass mit Unterzeichnung des Dienstbarkeitsvertrags die Entschädigungsverhandlungen abgeschlossen seien.
A.c Die Eidgenössische Schätzungskommission schrieb das zwischen den Parteien hängige Verfahren als durch ausseramtliche Verständigung erledigt ab.
B. Im August 2008 erhob der Beschwerdeführer beim Bezirksgericht Bremgarten Klage und verlangte rund Fr. 550'000.-- nebst Zins vom Beschwerdegegner, da dieser lediglich einen Teil der Ankerentschädigung bezahlt habe. Das Verfahren wurde gemäss Antrag des Beschwerdegegners auf die Frage der sachlichen Zuständigkeit beschränkt. Mit selbständig eröffnetem Vorentscheid trat das Bezirksgericht am 12. März 2009 auf die Klage ein. Die vom Beschwerdegegner dagegen erhobene Appellation hiess das Obergericht des Kantons Aargau mit Urteil vom 17. Dezember 2009 gut und änderte das Urteil des Bezirksgerichts dahingehend ab, dass auf die Klage nicht eingetreten werde.
C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht im Wesentlichen, das Urteil des Obergerichts aufzuheben. Eventualiter sei über die Tragung der vorinstanzlichen Verfahrens- und Parteikosten im Endentscheid zu befinden und dem Beschwerdeführer gestützt auf § 176 Abs. 1 ZPO/AG eine Frist von 30 Tagen anzusetzen, innert der er den aus seiner Sicht neu zuständigen Richter bezeichnen könne, dem die Akten - falls dieser sich als zuständig erkläre - ohne Unterbrechung der Rechtshängigkeit zu überweisen seien. Bezeichne der Beschwerdeführer keinen neuen Richter, sei in einem Zusatzentscheid über die Tragung der vorinstanzlichen Gerichts- und Parteikosten zu entscheiden.
Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. In ihrer Vernehmlassung beantragt die Vorinstanz unter Hinweis auf die Urteilsbegründung ebenfalls, die Beschwerde abzuweisen.
Erwägungen:
1. Das Bundesgericht beurteilt die Zulässigkeit der Beschwerde von Amtes wegen und mit freier Kognition (BGE 135 III 1 E. 1.1 S. 3 mit Hinweisen).
1.1 Die Beschwerde in Zivilsachen ist zulässig gegen Entscheide in Zivilsachen (Art. 72 Abs. 1 BGG). Ob eine Zivilsache vorliegt, beurteilt sich nach der Rechtsnatur des Streitgegenstandes. Die Art des vom kantonalen Recht bestimmten Verfahrens - öffentlich- oder privatrechtlich - ist (vor Inkrafttreten der eidgenössischen Zivilprozessordnung) nicht massgebend. Entscheidend ist vielmehr - wie schon unter dem Bundesrechtspflegegesetz vom 16. Dezember 1943 (OG) -, ob die Parteien nach ihren Rechtsbegehren und Sachvorbringen Ansprüche des Bundesprivatrechts erhoben haben und ebensolche objektiv streitig sind. Auch der Streit um die Frage, ob objektiv bundesprivatrechtliche Ansprüche erhoben werden, gilt als Zivilsache (BGE 135 III 483 E. 1.1.1 S. 485; 129 III 415 E. 2.1; 128 III 250 E. 1a S. 252; je mit Hinweisen). Der Beschwerdeführer stützt seine eingeklagte Forderung auf Bundesprivatrecht, während die Vorinstanz erkannte, die Streitsache sei ausschliesslich nach öffentlich-rechtlichen Normen zu beurteilen. Es handelt sich um eine Zivilsache im Sinne von Art. 72 Abs. 1 BGG.
1.2 Nach Art. 90 BGG ist die Beschwerde zulässig gegen Entscheide, die das Verfahren abschliessen. Mit dem angefochtenen Entscheid wird die sachliche Zuständigkeit verneint und auf die Klage mit der Begründung nicht eingetreten, es handle sich um eine öffentlich-rechtliche Streitigkeit. Nichteintretensentscheide, die einen Anspruch unter zivilrechtlichen Gesichtspunkten endgültig beenden, werden als Endentscheide qualifiziert, auch wenn eine öffentlich-rechtliche Subsumtion noch aussteht (BGE 128 III 250 E. 1b S. 252 mit Hinweisen). Entsprechend ist die Beschwerde gegen einen Entscheid zulässig, mit dem das kantonale Verwaltungsgericht seine sachliche Zuständigkeit verneint und die Sache an das kantonale Obergericht weiterleitet (BGE 136 I 80 E. 1.2 S. 83, wo die Frage offen gelassen wird, ob es sich um einen Endentscheid oder einen Zwischenentscheid über die Zuständigkeit handelt). Die Beschwerde richtet sich gegen einen Entscheid, der die Streitsache unter zivilrechtlichen Gesichtspunkten endgültig erledigt. Sie ist insoweit zulässig.
1.3 Die Beschwerde ist im Übrigen rechtzeitig erhoben worden (Art. 100 Abs. 1 BGG) und der Streitwert ist erreicht (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde in Zivilsachen ist grundsätzlich zulässig.
2. Nach Art. 99 Abs. 2 BGG sind neue Rechtsbegehren unzulässig. Neu sind Rechtsbegehren, die vor der Vorinstanz nicht gestellt wurden.
Der Beschwerdeführer stellt in seinen Beschwerdeanträgen eventualiter die Begehren, es sei über die Tragung der erstinstanzlichen und obergerichtlichen Verfahrens- und Parteikosten im Endentscheid zu befinden, und es sei ihm gestützt auf § 176 Abs. 1 ZPO/AG eine Frist von 30 Tagen anzusetzen, innert der er den aus seiner Sicht zuständigen Richter bezeichnen könne; sofern er innert Frist einen neuen Richter bezeichne, seien die Akten ohne Unterbrechung der Rechtshängigkeit und sofern sich der neu angerufene Richter als zuständig erkläre, an den neu vom Kläger bezeichneten Richter zu überweisen; sofern der Kläger keinen neuen Richter bezeichne, sei in einem Zusatzentscheid über die Tragung der erst- wie zweitinstanzlichen Gerichts- und Parteikosten zu entscheiden. Dass der Beschwerdeführer diese Anträge schon vor Vorinstanz gestellt hätte, ergibt sich aus dem angefochtenen Entscheid nicht und wird auch nicht behauptet. Die eventualiter gestellten Begehren sind neu und unzulässig. Es ist darauf nicht einzutreten.
3. Der Beschwerdeführer ist der Auffassung, der Beschwerdegegner habe kein "schützenswertes Rechtsinteresse" gehabt, die Einrede der fehlenden sachlichen Zuständigkeit vor dem Bezirksgericht zu erheben. Dass die "vertraglich ausgewiesene Forderung nicht von einem Zivilgericht, sondern von einer verwaltungsrechtlichen Instanz geprüft und beurteilt" werde, sei "gleichermassen wie für den Beschwerdeführer objektiv beurteilt doch auch für den Beschwerdegegner nicht entscheidend". Ausschlaggebend sei vielmehr, ob der Forderungsanspruch gutgeheissen oder (ganz oder teilweise) abgewiesen werde. Eine natürliche Person hätte die Einrede der sachlichen Unzuständigkeit mit Blick auf den hohen Streitwert und den damit einhergehenden Kosten anders als der Beschwerdegegner, der grundsätzlich mit unlimitierten Mitteln ausgestattet sei, nicht erhoben. Der Beschwerdeführer verkennt, dass es keines besonderen zusätzlichen Interesses bedarf, zu verlangen, dass eine Streitsache allein von der zuständigen Behörde entschieden wird. Dies gilt auch für den Beschwerdegegner, der gestützt auf einen behaupteten Anspruch vor einem Zivilgericht eingeklagt wurde und der Auffassung ist, es handle sich um eine öffentlich-rechtliche Streitigkeit, für deren Beurteilung die Verwaltungsbehörden bzw. die Verwaltungsgerichte zuständig seien.
4. 4.1 Die Abgrenzung bundesprivatrechtlicher Streitigkeiten von öffentlich-rechtlichen ist kasuistisch geprägt. Es sind dafür verschiedene Theorien entwickelt worden, deren grundsätzliche Abgrenzungskriterien sich nicht ausschliessen und im konkreten Fall nach ihrer Eignung angewandt werden. In Betracht fallen die auch Subjektionstheorie genannte Subordinationstheorie, die das Gewicht auf die Gleich- oder Unterordnung der Beteiligten bzw. die Ausübung von hoheitlichem Zwang legt; daneben werden aber auch die Interessen- und Funktionstheorie herangezogen, die danach unterscheiden, ob private oder öffentliche Interessen verfolgt bzw. öffentliche Aufgaben erfüllt werden. Bei der Anwendung dieser Kriterien ist dem Umstand Rechnung zu tragen, dass der Unterscheidung zwischen privatem und öffentlichem Recht ganz verschiedene Funktionen zukommen, je nach den Regelungsbedürfnissen und den Rechtsfolgen, die im Einzelfall in Frage stehen (vgl. zum Ganzen BGE 128 III 250 E. 2a S. 253 mit Hinweisen). Im zu beurteilenden Fall geht es nicht darum, bestimmte Gesetzesnormen als privat- oder öffentlich-rechtlich zu qualifizieren, sondern eine Vertragsbeziehung dem privat- oder dem öffentlich-rechtlichen Bereich zuzuordnen.
4.2 Ein verwaltungsrechtlicher Vertrag lässt sich dadurch charakterisieren, dass er direkt die Erfüllung einer öffentlichen Aufgabe zum Inhalt hat oder dass er einen öffentlich-rechtlich normierten Gegenstand betrifft, wie zum Beispiel Erschliessungen, Enteignungen oder Subventionen. Das Bundesgericht hat Verträge von Bauwilligen mit Gemeinwesen über die Erschliessung von Bauparzellen oder das Mandat an einen Anwalt, für eine unbemittelte Partei tätig zu werden, als öffentlich-rechtlich qualifiziert (BGE 113 Ia 69 E. 6 S. 71; 102 II 55 E. 1 S. 57 f.). Anderseits ist etwa die Vereinbarung des Schweizerischen Treuhänderverbands mit der Schweizerischen Nationalbank über die Sorgfaltspflicht bei der Entgegennahme von Geldern nicht als öffentlich-rechtlich erachtet worden (BGE 109 Ib 146). Ebenfalls als privatrechtlich wurden ein Vertrag der Eidgenossenschaft mit einer Beratungsfirma für Kommunikations- und Marketingaufgaben im Aktionsprogramm MICROSWISS und ein Vertrag der Stadt Genf mit Konsortialen zum Bau und Betrieb eines öffentlichen Schlachthauses im Baurecht angesehen (Urteile 4C.434/1994 vom 11. Juli 1995 und 4C.498/1996 vom 25. März 1997). Als wesentlich betrachtete das Bundesgericht in diesen zwei Urteilen, dass der Staat in der Regel privatrechtlich handelt, wenn er sich zur Erfüllung seiner öffentlichen Aufgaben die erforderlichen Hilfsmittel durch Kauf, Werkvertrag oder Auftrag beschafft. Ein Vertrag ist in diesen Fällen in der Regel nur dann als öffentlich-rechtlich zu qualifizieren, wenn dem Privaten dadurch unmittelbar die Erfüllung der öffentlichen Aufgabe übertragen wird (vgl. zum Ganzen BGE 128 III 250 E. 2b S. 253 f. mit Hinweisen).
4.3 Zum verwaltungsrechtlichen Enteignungsvertrag hielt das Bundesgericht fest, dieser müsse sich nicht notwendigerweise auf die Abtretung von dinglichen Rechten für den Bau eines öffentlichen Werks beschränken. Vielmehr kämen zahlreiche andere Punkte in Betracht, die normalerweise im Rahmen des Enteignungsverfahrens zu regeln seien (BGE 114 Ib 142 E. 3b/aa S. 147). Als Enteignungsverträge gelten grundsätzlich nur jene Vereinbarungen, die nach Eröffnung des Enteignungsverfahrens geschlossen werden. Dies gilt namentlich für Verfahren, die sich ausschliesslich nach dem Bundesgesetz über die Enteignung richten. Anders ist die Situation dagegen, wenn neben oder teilweise anstelle des Enteignungsgesetzes die bundesrechtliche Spezialgesetzgebung anzuwenden ist wie beispielsweise beim Landerwerb für den Nationalstrassenbau. Der Zeitpunkt, von dem an der Kanton gegenüber dem Privaten als Hoheitsträger auftritt, fällt mit der Auflage des Ausführungsprojekts zusammen. Dieser Zeitpunkt muss deshalb auch für die Charakterisierung der zwischen Kanton und Privaten geschlossenen Verträge massgebend sein: Die vor der Auflage des Ausführungsprojekts zustande gekommenen Vereinbarungen sind privatrechtlicher, die nach der Publikation geschlossenen öffentlich-rechtlicher Natur (BGE 114 Ib 142 E. 3b/bb und E. 3b/cc S. 148 f. mit Hinweisen).
4.4 Die Vorinstanz hielt fest, das öffentliche Interesse an der Erstellung des Werks sei unbestritten gewesen. Zu Recht erwog sie, der Dienstbarkeitsvertrag bezwecke in erster Linie und ganz überwiegend die Gewährleistung und Absicherung des für den Bau, Betrieb und Unterhalt des projektierten Umfahrungstunnels "Lieli" - auf der Kantonsstrasse "NK 410" - erforderlichen Landerwerbs, der unter anderem das im Eigentum des Beschwerdeführers stehende Grundstück unterquere. Der Bau und Betrieb des zur Umfahrung "Lieli" gehörenden Strassentunnels diene der Wahrnehmung öffentlicher Interessen und verwirkliche fraglos unmittelbar die Erfüllung einer Verwaltungsaufgabe bzw. eine öffentliche Aufgabe, zumal Bau und Unterhalt von Strassen zum Teil sogar in der Bundesverfassung (Art. 83 BV) und in der Kantonsverfassung (§ 46 und § 49 der Verfassung des Kantons Aargau vom 25. Juni 1980; SAR 110.000) als Staatsaufgaben enumeriert würden. Hinzu kommt, dass das Gesuch vom 11. März bis 22. April 2002 im nationalstrassenrechtlichen Verfahren öffentlich auflag, und der Dienstbarkeitsvertrag im August 2006 erst danach abgeschlossen wurde. Somit wurde die Vereinbarung vom Beschwerdegegner in der Rolle des Hoheitsträgers als Enteigner getroffen, weshalb der Dienstbarkeitsvertrag als verwaltungsrechtlicher Enteignungsvertrag zu qualifizieren ist.
4.5 Der Beschwerdeführer wendet ein, die Vorinstanz habe nicht berücksichtigt, dass dem Beschwerdegegner mit der Plangenehmigung das Enteignungsrecht abgesprochen worden sei. Wie er selbst ausführt, hielt das UVEK indessen im Einsprachentscheid lediglich fest, dass "nicht Eigentum entzogen werden" dürfe, "wenn sich der öffentliche Zweck auch mit einer privatrechtlichen Dienstbarkeit oder einer öffentlichrechtlichen Eigentumsbeschränkung erreichen" lasse. Damit wurde dem Beschwerdegegner das Enteignungsrecht nicht generell abgesprochen, sondern vielmehr auf das notwendige Mass eingeschränkt. Daher bleibt für die Qualifikation massgeblich, dass der Vertrag erst nach der öffentlichen Auflage abgeschlossen wurde. Selbst wenn die Parteien bewusst zwischen Dienstbarkeitsentschädigung für die Einräumung der Dienstbarkeit und der erst nach Fertigstellung des Tunnels bestimmbaren und fälligen "Ankerentschädigung" unterschieden hätten, wie der Beschwerdeführer geltend macht, und die Forderung als "zivilrechtlich" bezeichnet haben sollten, würde dies vor dem Hintergrund des massgeblichen Unterscheidungskriteriums nichts an der Qualifikation des Vertrags als öffentlich-rechtlich ändern.
5. Die Vorinstanz hat somit das Vertragsverhältnis der Parteien und den vom Beschwerdeführer daraus abgeleiteten Anspruch zu Recht als öffentlich-rechtlich qualifiziert. Die Beschwerde ist abzuweisen, soweit überhaupt darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Eine Parteientschädigung wird dem Beschwerdegegner als Enteigner keine zugesprochen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 28. Juni 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Feldmann