Erwägungen:
1. S._ verstarb mit letztem Wohnsitz in A._ am 4. Juni 2000. Sie setzte neben verschiedenen Vermächtnissen die Stadt B._ als Alleinerbin ein. In der Folge kam es zu Erbstreitigkeiten zwischen ihrem Bruder V._, einziger gesetzlicher Erbe, und der Stadt B._. Mit rechtskräftigem Urteil vom 27. Juni 2006 stand schliesslich fest, dass V._ - abgesehen von der Zuweisung eines Vermächtnisses an seinen Sohn Y._ - einziger Erbe von S._ war. V._ starb am 20. Februar 2007. Er hinterliess als Erben seine drei Söhne X._, Y._ und Z._.
Am 29. August 2000 fand u.a. in Anwesenheit von Y._ und X._ die Aufnahme des Steuerinventars von S._ statt. Am 30. März 2005 teilte das Steueramt des Kantons Aargau allen potentiellen Erben und Vermächtnisnehmern (insgesamt 25 Briefe) mit, dass die erbrechtliche Auseinandersetzung noch nicht beendet und demzufolge die Veranlagung der Erbschaftssteuer noch nicht vorgenommen worden seien. Das Gemeinwesen halte an seinem Steueranspruch fest, weshalb das Schreiben zugleich als Verjährungsunterbrechung gelte. Am 23. Juli 2007 veranlagte das kantonale Steueramt die Erben des einzigen gesetzlichen Erben von S._, V._, nämlich dessen drei Söhne X._, Y._ und Z._, auf dem V._ angefallenen Vermögen der Erblasserin zu einer Erbschaftssteuer von insgesamt Fr. 626'754.60. Eine dagegen gerichtete Einsprache von X._ wies das kantonale Steueramt ab. Dies wurde vom Steuerrekurs- und anschliessend vom Verwaltungsgericht des Kantons Aargau am 15. Juli 2009 bestätigt.
X._ beantragt vor Bundesgericht, u.a. das angefochtene Urteil vom 15. Juli 2009 und die Erbschaftssteuerveranlagung vom 23. Juli 2007 aufzuheben.
2. Die von X._ erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten ist offensichtlich unbegründet, weshalb sie im Verfahren nach Art. 109 Abs. 2 Bst. a BGG mit summarischer Begründung abgewiesen wird.
Auf die Beschwerde ist grundsätzlich einzutreten; aufgrund des Devolutiveffekts ist auf das Begehren, auch die Erbschaftssteuerveranlagung aufzuheben, nicht einzutreten (BGE 134 II 142 E. 1.4 S. 144). Nicht zu hören ist die Rüge einer Verletzung des rechtlichen Gehörs: Die Vorinstanz ist nicht verpflichtet, jedes einzelne Vorbringen ausdrücklich zu widerlegen. Sie hat die neuere Rechtsprechung konsultiert und darauf Bezug genommen, die sich im Übrigen ausdrücklich mit dem vom Beschwerdeführer angerufenen BGE 79 I 248 befasst. Sie hat sich somit implizit mit den Vorbringen des Beschwerdeführers auseinandergesetzt (zum Ganzen BGE 134 I 83 E. 4.1 S. 88 f.).
3. 3.1 Nach dem in der Sache noch anwendbaren § 180 Abs. 1 des aargauischen Steuergesetzes vom 13. Dezember 1983 (aStG) verwirkt das Recht, ein Erbschaftssteuerverfahren einzuleiten, spätestens fünf Jahre nach dem Ableben des Erblassers. Die Vorinstanz ist nach Auslegung der relevanten Bestimmungen zum Schluss gekommen, dass das Verfahren mit der Inventaraufnahme eingeleitet werde. Die Einleitung könne allerdings gegenüber Personen nur dann Wirkung entfalten, wenn diese konkret in das Verfahren einbezogen wurden, insbesondere wenn sie an der Inventaraufnahme teilnehmen oder davon in Kenntnis gesetzt wurden. Mit der Aufnahme des Steuerinventars am 29. August 2000 wurde die fünfjährige Frist ausgelöst.
Der Beschwerdeführer war neben seinem Bruder, dem eine Liegenschaft vermacht wurde, an der Inventaraufnahme dabei. Im Inventar wird festgehalten, dass der Beschwerdeführer seinen Vater V._ vertrat. Jener bestreitet allerdings, dass er seinen Vater vertreten habe, sei doch eine Rechtsanwältin für die Vertretung beauftragt worden.
Die Vorinstanz hat entgegen der Auffassung des Beschwerdeführers nicht willkürlich gehandelt. Auch wenn eine Rechtsanwältin zur Wahrnehmung der Interessen des V._ bestellt war, schliesst dies nicht aus, dass auch der Beschwerdeführer seinen Vater vertreten konnte. Dafür, dass sich dies in der Tat so zugetragen hat, sprechen mehrere Gründe: Aus den Akten ergibt sich, dass der Beschwerdeführer mit seinem Vater die Rechtsanwältin beauftragt hat. Da er in dieser Sache weder Erbe noch Vermächtnisnehmer war, muss davon ausgegangen werden, dass er von seinem Vater als sein erster Vertreter eingesetzt wurde. Angesichts der Mitwirkungspflicht der Erben (§ 156 aStG) und des Umstandes, dass der Beschwerdeführer im Gegensatz zur Rechtsanwältin die Verhältnisse der Erblasserin kannte, drängte es sich geradezu auf, dass bei der Inventaraufnahme der Beschwerdeführer anstelle der Rechtsanwältin seinen Vater vertreten hatte. Es erklärt auch, warum der Beschwerdeführer, der weder Erbe noch Vermächtnisnehmer war und somit keine direkte Kenntnis von der Inventaraufnahme hatte, überhaupt an dieser anwesend war. Es ist zudem auch nicht einsichtig, dass die Gemeindekanzlei der Gemeinde A._ ohne äusseren Anlass bestimmt haben sollte, dass der Beschwerdeführer seinen Vater vertrete. Im Übrigen hat die Rechtsanwältin zu einem späteren Zeitpunkt ebenfalls Kenntnis von der Inventaraufnahme erlangt.
3.2 Die Vorinstanz hat gestützt auf § 179 Abs. 3 aStG und der bundesgerichtlichen Rechtsprechung (BGE 126 II 1) festgestellt, dass das oben erwähnte Schreiben den Anforderungen an eine Verjährungsunterbrechung genüge. Der Beschwerdeführer bringt dagegen vor, dass die Veranlagungsverjährungsfrist damit nicht unterbrochen werde und beruft sich auf BGE 79 I 248. In BGE 126 II 1 E. 2f. S. 4 hat das Bundesgericht in Auseinandersetzung mit BGE 79 I 248 ausdrücklich die Zulässigkeit einer amtlichen Mitteilung, deren Zweck sich in der Unterbrechung des Verjährungsablaufs erschöpft, bejaht. Diese Rechtsprechung gilt auch in anderen Bereichen des Steuerrechts. Die Vorinstanz hat somit nicht willkürlich gehandelt.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
In Erbschaftssteuerstreitigkeiten herrscht Verfahrenssolidarität, weshalb auch die weiteren Erben, die nicht selber Beschwerde geführt haben, als einbezogen gelten. Entsprechend dem Grundsatz, dass derjenige, der Kosten verursacht, diese auch zu tragen hat (Art. 66 Abs. 3 BGG), werden die bundesgerichtlichen Kosten dem Beschwerdeführer X._ allein auferlegt (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Aargau, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 28. April 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass