Sachverhalt:
A. A._ (Kläger und Beschwerdeführer) stellte mit Klage vom 9. September 2003 beim Amtsgericht Luzern-Stadt das Begehren, die X._ AG und die Y._ AG (Beklagte) seien unter solidarischer Haftbarkeit zu verpflichten, ihm Fr. 594'819.50 nebst 5 % Zins seit 1. Januar 2003 zu bezahlen (Ziffer 1), und es sei vorzumerken, dass er sich weitere Forderungen vorbehalte (Ziffer 2).
Beim eingeklagten Betrag handelt es sich um die erste, per 31. Dezember 2002 fällige Rate von Fr. 500'000.-- sowie Zins (auf dem noch ausstehenden Rest) eines Kaufpreises von insgesamt Fr. 3'327'000.-- aus einem Aktienkaufvertrag.
B. Das Amtsgericht Luzern-Stadt wies die Klage mit Urteil vom 10. August 2007 ab und auferlegte dem Kläger die Gerichtskosten. Diese setzte es auf Fr. 83'000.-- fest. Zur Begründung führte das Amtsgericht aus, gemäss § 1 der Verordnung des Obergerichts über die Kosten in Zivil- und Strafverfahren sowie in weiteren Verfahren (Kostenverordnung) vom 6. November 2003 (SRL Nr. 265; im Folgenden KoV) werde auf den Streitwert abgestellt und dieser richte sich gemäss § 18 ZPO LU nach den Rechtsbegehren des Klägers bei Klageeinreichung. Wenn sich der Streitwert nicht mit dem wirtschaftlichen Interesse der Parteien am Streit decke, sei nach § 3 KoV das wirtschaftliche Interesse als Streitwert massgebend. Eingeklagt sei die erste Rate des Kaufpreises, der insgesamt Fr. 3'327'000.-- betrage, weshalb das wirtschaftliche Interesse am Verfahren entsprechend höher sei. Der Kläger behalte sich denn auch vor, die übrigen Kaufpreisraten noch einzuklagen, weshalb von einem Streitwert von Fr. 3'327'000.-- auszugehen sei, wofür der Gebührenrahmen nach § 7 lit. a KoV zwischen Fr. 66'540.-- und Fr. 133'080.-- betrage.
C. Das Obergericht des Kantons Luzern wies die Kostenbeschwerde des Klägers mit Entscheid vom 17. Dezember 2007 ab. Das Gericht kam zum Schluss, das Amtsgericht habe bei der Festsetzung das ihm zustehende Ermessen nicht offensichtlich überschritten. Das Obergericht ging davon aus, dass sich die Prozessgebühren nicht nach der Streitwertbehauptung der Parteien, sondern nach dem objektiven wirtschaftlichen Interesse am Streit richteten, wie sich aus § 3 KoV ergebe. Auch wenn weder ZPO noch KoV eigene Regeln für die Ermittlung des Streitwerts einer Teilklage enthielten, könne nicht geschlossen werden, dass es unzulässig sei, bei der Kostenfestsetzung einer Teilklage vom wirtschaftlichen Interesse auszugehen. Da das Amtsgericht geprüft habe, ob die von den Parteien vereinbarte Bedingung für den Untergang der Kaufpreisforderung eingetreten sei, sei es letztlich um den Bestand oder Untergang der gesamten Kaufpreisforderung gegangen, unabhängig davon, dass nur eine Rate des Kaufpreises fällig und eingeklagt gewesen sei. Der Kläger habe sich denn auch die Geltendmachung weiterer Forderungen ausdrücklich vorbehalten und zudem in der Replik ausgeführt, es liege auf der Hand, dass er auch die weiteren Raten einfordern werde, wenn er im vorliegenden Verfahren durchkomme. Da die Vorinstanz Bestand oder Untergang der gesamten Kaufpreisforderung habe prüfen müssen, könne nicht gesagt werden, mit der erstinstanzlichen Kostenfestsetzung werde die Teilklage ihres Sinnes entleert, weil das prohibitiv hohe Kostenrisiko es dem Kläger de facto verunmögliche, eine Teilklage einzureichen.
D. Mit Beschwerde in Zivilsachen vom 29. Januar 2008 stellt der Beschwerdeführer die Rechtsbegehren, das Urteil des Obergerichts des Kantons Luzern vom 17. Dezember 2007 sei aufzuheben (Ziffer 1), es seien die Gerichtskosten des erstinstanzlichen Verfahrens vor dem Amtsgericht Luzern-Stadt korrekt zu berechnen und entsprechend zu reduzieren (Ziffer 2a), eventualiter sei die Sache zur korrekten Berechnung und entsprechender Reduktion der Gerichtskosten des erstinstanzlichen Verfahrens vor dem Amtsgericht Luzern-Stadt an die Vorinstanz zurückzuweisen (Ziffer 2b), unter Kosten- und Entschädigungsfolge zu Lasten des Obergerichts Luzern (Ziffer 3). Zum Streitwert lässt der Kläger ausführen, bei korrekter Berechnung gemäss § 7 KoV kämen die Gerichtskosten zwischen Fr. 11'869.39 und Fr. 23'792.78 zu liegen und damit um Fr. 59'207.22 bis Fr. 71'103.61 weniger als verfügt. Er bringt vor, der Streitwert seiner Klage habe Fr. 594'819.50 betragen und die Ausnahmebestimmung von § 3 KoV finde keine Anwendung, weil bei Klageeinreichung nur die erste Rate fällig gewesen und eine Teilklage zulässig sei.
E. Die Beklagten haben erklären lassen, sie verzichteten auf eine Vernehmlassung. Das Obergericht Luzern beantragt unter Hinweis auf den angefochtenen Entscheid Abweisung der Beschwerde, soweit darauf einzutreten ist.
Erwägungen:
1. Die vorliegende Beschwerde hat einen Entscheid in Zivilsachen zum Gegenstand (Art. 72 Abs. 1 BGG), sie betrifft eine vermögensrechtliche Angelegenheit mit einem Streitwert von mehr als Fr. 30'000.-- (Art. 74 Abs. Abs. 1 lit. b BGG in Verbindung mit Art. 51 Abs. 1 BGG), die Vorinstanz hat als letzte kantonale Instanz (Art. 75 Abs. 1 in Verbindung mit Art. 130 BGG) endgültig (Art. 90 BGG) über die Gerichtskosten entschieden. Die rechtzeitig (Art. 100 BGG in Verbindung mit Art. 46 Abs. 1 lit. c BGG) eingereichte Beschwerde ist grundsätzlich zulässig.
2. 2.1 Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), darf sich der Beschwerdeführer grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Gleich wie nach der Praxis zur Berufung gemäss aOG, muss der Beschwerdeführer demnach angeben, welche Punkte des Entscheides angefochten und welche Abänderungen beantragt werden. Grundsätzlich ist ein materieller Antrag erforderlich; Anträge auf Rückweisung der Sache an die Vorinstanz zu neuer Entscheidung oder blosse Aufhebungsanträge genügen nicht und machen die Beschwerde unzulässig. Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (BGE 133 III 489 E. 3.1 mit Hinweisen).
2.2 Der Beschwerdeführer stellt den Antrag, "es seien die Gerichtskosten des erstinstanzlichen Verfahrens vor dem Amtsgericht Luzern-Stadt korrekt zu berechnen und entsprechend zu reduzieren". Er stellt damit nicht ausdrücklich ein beziffertes Begehren, wie es für Geldbeträge nach dem Bestimmtheitsgebot in konstanter Rechtsprechung verlangt wird (vgl. BGE 125 III 412 E. 1b S. 414 mit Hinweisen). Immerhin ergibt sich aus der Begründung der Beschwerde, welche Berechnung der Beschwerdeführer als korrekt erachtet und dass danach die erstinstanzlichen Gerichtskosten höchstens Fr. 23'792.78 betragen. Unter diesen Umständen ist sein Rechtsbegehren in dem Sinne zu verstehen, dass er die Herabsetzung der umstrittenen Gerichtskosten für das erstinstanzliche Verfahren von Fr. 83'000.-- auf Fr. 23'792.78 (d.h. gerundet Fr. 23'793.--) begehrt (BGE 99 II 176 E. 2 S. 180 f., bestätigt in der nicht publizierten E. 1 von BGE 125 III 1).
3. 3.1 Die Beschwerdegründe in Bezug auf schweizerisches Recht sind in Art. 95 BGG aufgeführt. Danach ist die Rüge der Verletzung kantonalen Rechts unter Vorbehalt von hier nicht gegebenen Ausnahmen (lit. c und d) nicht zulässig. Mit der Beschwerde kann jedoch gerügt werden, es sei Bundesrecht verletzt worden (lit. a), wozu auch die Grundrechte wie unter anderem das Willkürverbot (Art. 9 BV) gehören (BGE 133 II 249 E. 1.2.1 S. 251 f.). Die Verletzung von Grundrechten prüft das Bundesgericht gemäss Art. 106 Abs. 2 BGG insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (BGE 133 II 249 E. 1.4.2 S. 254). Der Beschwerdeführer rügt, die Vorinstanz habe das Willkürverbot gemäss Art. 9 BV verletzt mit der Annahme, dass es letztlich um den Bestand oder den Untergang der gesamten Kaufpreisforderung gegangen sei, unabhängig davon, dass nur eine Rate des Kaufpreises fällig und eingeklagt war. Ausserdem bringt der Beschwerdeführer vor, die Vorinstanz habe den allgemein anerkannten und unumstrittenen Grundsatz der Dispositionsmaxime verletzt, indem sie mit den prohibitiv hohen Kosten die Teilklage ihres Sinnes entleert und ihm damit faktisch verunmöglicht habe, eine Teilklage einzureichen.
3.2 Nach den Erwägungen im angefochtenen Entscheid richtet sich die Festsetzung der Kosten nach der KoV. Soweit der Streitwert für die Kostenbemessung massgebend ist, entspricht er dem gemäss §§ 18-22 ZPO LU ermittelten Streitwert. Nach § 3 KoV ist allerdings das wirtschaftliche Interesse der Parteien am Streit massgebend, wenn sich der so ermittelte Streitwert offensichtlich nicht mit dem wirtschaftlichen Interesse der Parteien am Streit deckt. Nach den Feststellungen im angefochtenen Entscheid war die Kaufpreisforderung des Beschwerdeführers von Fr. 3'327'000.-- in mehreren Raten zu zahlen und sie war resolutiv von einer Potestativbedingung abhängig gemacht worden. Nachdem der Beschwerdeführer die erste, fällige Rate eingeklagt hatte, habe das Amtsgericht geprüft, ob die vereinbarte Bedingung für den Untergang der Kaufpreisforderung eingetreten sei. Bei dieser Prüfung ging es nach Erwägungen der Vorinstanz letztlich um den Bestand oder den Untergang der gesamten Kaufpreisforderung unabhängig davon, dass nur eine Rate des Kaufpreises fällig und eingeklagt war.
3.3 Der Beschwerdeführer hat eine Leistungsklage für die erste, fällige Rate erhoben. Sein Rechtsbegehren bei Einreichung der Klage lautete auf Bezahlung von Fr. 594'819.50, womit der Streitwert gemäss § 18 Abs. 1 ZPO LU diesem Betrag entsprach. Da die KoV nach den Erwägungen der Vorinstanz auf die gesetzliche Definition Bezug nimmt, soweit der Streitwert massgebend ist, betragen die Kosten für das erstinstanzliche Verfahren nach § 7 KoV zwischen 2 % und 4 % von Fr. 594'819.50 und somit höchstens Fr. 23'793.--. Die Vorinstanz hat dagegen angenommen, dass das wirtschaftliche Interesse des Klägers am Prozess offensichtlich nicht seinem Rechtsbegehren, sondern der gesamten Kaufpreisforderung entspreche, weshalb gemäss § 3 KoV darauf abzustellen sei. Dazu ist zunächst zu bemerken, dass entgegen der Ansicht im angefochtenen Entscheid das materielle Rechtsbegehren auf eine in Geld lautende Forderung mit einer blossen Streitwertbehauptung des Klägers nicht gleichgesetzt werden kann und dass das Bundesgericht im Entscheid vom 24. Oktober 2007 im Verfahren 4A_267/2007 die Zulässigkeit der Festsetzung nach dem Interessenwert keineswegs bestätigt hat. In E. 6.5 dieses Entscheides wird zwar anerkannt, dass die Delegationsnorm den Anforderungen an eine gesetzliche Grundlage genügt, es wird jedoch ausdrücklich erwähnt, dass der damalige Beschwerdeführer eine Verletzung des Kostendeckungs- oder des Äquivalenzprinzips durch das Abstellen auf den Interessenwert nicht geltend gemacht hatte und daher die Zulässigkeit der Bestimmung insofern nicht zu prüfen war. Da sich auch im vorliegenden Verfahren der Beschwerdeführer nicht auf diese Prinzipien beruft, ist die - höchst zweifelhafte - Verfassungsmässigkeit des angefochtenen Entscheides unter diesen Gesichtspunkten auch vorliegend nicht zu prüfen.
3.4 Der Beschwerdeführer rügt zu Recht die Annahme als schlechterdings nicht vertretbar, dass sich im vorliegenden Fall "der Streitwert gemäss §§ 18-22 ZPO offensichtlich nicht mit dem wirtschaftlichen Interesse der Parteien am Streit" deckt und daher die Voraussetzungen des § 3 KoV für eine Berechnung des Streitwerts nach dem wirtschaftlichen Interesse der Parteien am Streit gegeben sein könnten. Im angefochtenen Entscheid wird nicht in Frage gestellt, dass im Zeitpunkt der Einreichung der Klage nur die erste Rate des Kaufpreises fällig war, woraus sich ergibt, dass der Beschwerdeführer mit einer Klage auf Leistung der restlichen Raten mangels Fälligkeit abgewiesen worden wäre. Einen rechtskräftigen Entscheid zu seinen Gunsten konnte der Beschwerdeführer mit einem Leistungsbegehren nur über die erste, fällige Rate erreichen. Er bringt insofern zutreffend vor, dass er jede Forderung auf weitere Raten bei deren Fälligkeit hätte einklagen müssen und den Beklagten jedes Mal sämtliche Einreden zur Verfügung gestanden wären. Weitere Prozesse über den restlichen Kaufpreis liessen sich mit dem Urteil über das vom Beschwerdeführer gestellte Rechtsbegehren nicht verhindern. Da sich die Rechtskraft des Entscheides allein auf die Forderung der ersten Kaufpreisrate beziehen konnte, kam der Beurteilung der Gültigkeit des Kaufvertrages ausschliesslich die Bedeutung einer Vorfrage für den Entscheid über die strittige Forderung zu. Daran ändert nichts, dass sich der Beschwerdeführer weitere Forderungen aus dem Kaufvertrag ausdrücklich vorbehalten hat. Da keine der Parteien ein Begehren auf Feststellung der Gültigkeit oder Ungültigkeit des Vertrages stellte, konnte das Gericht darüber gerade keinen der Rechtskraft fähigen Entscheid fällen. Die Auffassung der Vorinstanz ist daher schlechterdings nicht vertretbar, es sei unabhängig davon, dass nur eine Rate des Kaufpreises fällig und eingeklagt war, letztlich der Bestand oder Untergang der gesamten Kaufpreisforderung streitig gewesen. Da über diese Frage gerade nicht zu entscheiden war, kann mit dieser Begründung nicht angenommen werden, im Sinne von § 3 KoV sei das wirtschaftliche Interesse der Parteien am Streit offensichtlich auf die gesamte Kaufpreisforderung gegangen.
3.5 Dass der Entscheid über eine Teilforderung tatsächlich eine gewisse präjudizielle Wirkung für weitere strittige Ansprüche haben kann, wenn diese auf demselben Rechtsgrund beruhen und unter den Parteien dieselben Fragen strittig sind, vermag jedenfalls im vorliegenden Fall den angefochtenen Entscheid nicht als vertretbar erscheinen zu lassen. Die Vorinstanz zitiert eine Lehrmeinung zum Haftpflichtprozess. Danach besteht kein abweichender Interessenwert, wenn sich das Prozessthema auf die reine Beurteilung der Teilklageforderung beschränkt und ist bei Teilklagen entscheidend, ob neben dem Mass der eingeklagten Forderung auch grundsätzliche Fragen der Haftung zu prüfen und zu entscheiden sind. Je nachdem kann sich der Interessenwert bis zur mutmasslichen Gesamtforderung erhöhen (Kurt Boesch, Prozesskosten, in: Fellmann/Weber (Hrsg.), Der Haftpflichtprozess, Zürich 2006, S. 178 f.). Im vorliegenden Fall ist ein verbindlicher Entscheid über den vorfrageweise geprüften Bestand bzw. Untergang der Kaufpreisforderung gerade nicht gefällt worden und konnte mangels Feststellungsbegehrens einer der Parteien auch nicht ergehen; wenn diese Frage für die Entscheidung über die eingeklagte Forderung zu prüfen war, so war darüber gerade nicht zu entscheiden. Damit lagen auch keine Grundsatzfragen über die restlichen Raten-Forderungen im Streit.
3.6 Die Vorinstanz hat § 3 KoV willkürlich angewendet mit dem Schluss, das wirtschaftliche Interesse der Parteien am Streit entspreche der eingeklagten Geldforderung offensichtlich nicht. Die Rüge der Verletzung von Art. 9 BV ist begründet, weshalb sich eine Prüfung der weiteren Rüge erübrigt.
4. Aus den genannten Gründen ist die Beschwerde gutzuheissen. Der angefochtene Entscheid ist aufzuheben. Ein reformatorischer Entscheid könnte zwar grundsätzlich erlassen werden, indem Ziffer 2 des Rechtsspruchs des Amtsgerichts Luzern-Stadt vom 10. August 2007 in dem Sinne neu gefasst würde, dass die Gerichtskosten Fr. 23'793.-- betragen. Nachdem jedoch im erstinstanzlichen Urteil auch entschieden wird, wie mit dem geleisteten Gerichtskostenvorschuss zu verfahren sei und die Sache ohnehin zur Neuverlegung der Kosten des kantonalen Verfahrens zurückgewiesen werden muss, ist die Sache zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Die Höhe der Gerichtskosten betrifft bei unstreitiger Verlegung die Beklagten nicht. Unterliegende Partei im Sinne von Art. 66 BGG ist der Kanton Luzern bzw. das Obergericht des Kantons Luzern. Nach Art. 66 Abs. 4 BGG dürfen in der Regel keine Gerichtskosten auferlegt werden, wenn Kantone in ihrem amtlichen Wirkungskreis handeln und ihre Vermögensinteressen nicht im Streite liegen, wenn gegen ihre Entscheide Beschwerde geführt wird. Um Vermögensinteressen handelt es sich insbesondere nicht bei Entscheiden über Abgaben. Dem Kanton Luzern sind nach Art. 66 Abs. 4 BGG keine Kosten aufzuerlegen. Dagegen ist der Kanton Luzern bzw. dessen Obergericht gestützt auf Art. 68 Abs. 2 BGG zu verpflichten, dem Beschwerdeführer die Parteikosten für das vorliegende Beschwerdeverfahren zu ersetzen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Obergerichts des Kantons Luzern vom 17. Dezember 2007 wird aufgehoben und die Sache wird zu neuer Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Luzern, Obergericht, hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, I. Kammer als Rekursinstanz, schriftlich mitgeteilt.
Lausanne, 4. März 2008
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Corboz Hürlimann