Sachverhalt:
A. Am 12. Juni 1986 verstarb A._, Witwe des Schriftstellers B._. Sie hatte letzten Wohnsitz in Vaduz (Liechtenstein) und war in Basel (BS) heimatberechtigt. In einem Testamentsnachtrag hatte sie die Teilung ihres Nachlasses schweizerischem Recht unterstellt. Sie hinterliess drei Kinder, nämlich die beiden Töchter X._ (Beschwerdeführerin) und C._ (verstorben 1998; deutsche Staatsangehörige mit letztem Wohnsitz in Deutschland) sowie den Sohn D._.
Nach längeren Auseinandersetzungen einigten sich die beiden Töchter mit Vertrag vom 15. August / 18. September 1990 über die Erbteilung. Dabei ergab sich eine Ausgleichsforderung von X._ gegen ihre Schwester C._ in der Höhe von Fr. 49'095.--. Letztere beglich diese Forderung in der Folge nicht.
Am 8. Februar 1995 reichte X._ am Zivilgericht Basel-Stadt Klage gegen ihre Schwester C._, die Nachkommen ihres inzwischen verstorbenen Bruders D._ sowie den Willensvollstrecker ein. Sie beantragte, den Nachlass von A._ entsprechend dem Erbteilungsvertrag vom 15. August / 18. September 1990 aufzuteilen, soweit dies noch nicht geschehen sei, und insbesondere C._ zu verurteilen, ihr Fr. 49'095.-- nebst Zinsen zu bezahlen. Am 3. Juli 1996 wurde das Verfahren infolge Klageanerkennung durch C._ abgeschrieben.
C._ verstarb am 6. Juni 1998. Sie hinterliess ihren Ehemann E._, die Söhne F._ (verstorben am 2. März 2000) und Y._ (Beschwerdegegner 1) sowie die Tochter Z._ (Beschwerdegegnerin 2).
B. Am 3. Juli 2006 reichte X._ am Zivilgericht Basel-Stadt gegen Y._ und Z._ Klage ein. Sie beantragte, in Ergänzung der Anerkennung der Teilungsklage von 1995 festzustellen, dass die Beklagten als Erben in die Verpflichtungen von C._ gemäss Klageanerkennung und entsprechendem Abschreibungsbeschluss vom 3. Juli 1996 eingetreten seien. Die Beklagten seien demgemäss solidarisch zur Bezahlung der Ausgleichszahlung von Fr. 49'095.-- zuzüglich 5 % Zins seit 18. September 1990 zu verurteilen. Zudem verlangte sie von den Beklagten die Zahlung von Fr. 6'007.70 unter dem Titel der Parteientschädigung gemäss Abschreibungsbeschluss des Zivilgerichts Basel-Stadt vom 3. Juli 1996.
Am 10. Juni 2008 beschränkte der Instruktionsrichter das Verfahren auf die Frage der örtlichen Zuständigkeit. Mit Urteil vom 15. Mai 2009 trat das Zivilgericht mangels örtlicher Zuständigkeit und infolge Vorliegens einer res iudicata auf die Klage nicht ein. Zur Beurteilung der eingeklagten Parteientschädigung überwies es die Akten dem Dreiergericht.
C. Gegen dieses Urteil hat X._ am 29. Mai 2009 appelliert. Am 18. August 2010 wies das Appellationsgericht des Kantons Basel-Stadt die Appellation ab und bestätigte das erstinstanzliche Urteil.
D. Am 10. Dezember 2010 hat X._ gegen das Urteil des Appellationsgerichts Beschwerde in Zivilsachen erhoben. Sie beantragt (Ziff. 1) die Aufhebung des angefochtenen Urteils, und zwar insbesondere in folgenden Entscheidteilen: a) bezüglich der Feststellung der örtlichen Unzuständigkeit der Gerichte von Basel-Stadt für die Verurteilung der Beschwerdegegner zur Bezahlung einer Ausgleichszahlung (Soulte) aus dem Erbteilungsvertrag betreffend den Nachlass von A._ vom 15. August / 18. September 1990; b) bezüglich der Feststellung der örtlichen Unzuständigkeit der Gerichte von Basel-Stadt zur Beurteilung, ob die Beschwerdegegner als Erben von C._ in deren Schuld zur Zahlung einer Soulte aus dem genannten Erbteilungsvertrag eingetreten sind; und c) bezüglich des Nichteintretens auf die Klage vom 3. Juli 2006 wegen res iudicata. Eventualiter sei hinsichtlich des Punktes c) die Sache an das Appellationsgericht zur Beurteilung zurückzuweisen. Schliesslich (Ziff. 2) sei die Sache zur Sachverhaltsfeststellung und zur materiellen Beurteilung der Klage an das Zivilgericht Basel-Stadt zurückzuweisen; eventualiter sei die Sache an das Appellationsgericht Basel-Stadt zwecks Vornahme der Weiterverweisung an die erste Instanz zurückzuweisen.
Das Appellationsgericht hat auf Vernehmlassung verzichtet, beantragt aber Abweisung der Beschwerde. Die Beschwerdegegner haben unter Hinweis auf die vorinstanzlichen Eingaben und die Begründung im angefochtenen Urteil auf Vernehmlassung verzichtet.
Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer zivilrechtlichen Angelegenheit (Art. 72 Abs. 1, Art. 75 Abs. 1 BGG), in welchem die internationale und örtliche Zuständigkeit der baselstädtischen Zivilgerichte verneint und das Verfahren folglich aus prozessualen Gründen beendet wurde. Es handelt sich somit um einen Endentscheid gemäss Art. 90 BGG (BGE 134 III 426 E. 1.1 S. 428 mit Hinweisen). Die Streitwertgrenze ist überschritten (Art. 74 Abs. 1 lit. b BGG) und die Beschwerde ist rechtzeitig eingereicht worden (Art. 100 Abs. 1 BGG).
2. Gegenstand des Verfahrens vor dem Appellationsgericht war die örtliche - und implizit die internationale - Zuständigkeit des Zivilgerichts Basel-Stadt zur Beurteilung der Forderung der Beschwerdeführerin über Fr. 49'095.-- nebst Zins. Das Appellationsgericht hat diesbezüglich ausgeführt, mit Inkrafttreten des Erbteilungsvertrags durch Anerkennung, spätestens aber durch Abschreibung der Klage auf Vollzug des Erbteilungsvertrags sei die Erbengemeinschaft von A._ beendet worden. Der Streit um die fragliche Ausgleichszahlung (Soulte) stelle somit keine erbrechtliche Streitigkeit dar, sondern es gehe um eine reine Geldforderung, welche Gegenstand einer gewöhnlichen Leistungsklage bilde. Die Zuständigkeitsregelung von Art. 87 Abs. 2 i.V.m. Art. 86 Abs. 1 IPRG (SR 291) komme deshalb nicht zur Anwendung. Zudem stelle die Erbfolge von C._ die Hauptfrage des Prozesses dar und die Leistungspflicht hinsichtlich der Soulte eine blosse Vorfrage. Mangels schweizerischer Anknüpfungspunkte seien Basler Gerichte aber nicht zur Beurteilung des Erbgangs von C._ zuständig.
Beide Instanzen haben sich trotz der Verfahrensbeschränkung auf die Zuständigkeit zur rechtskräftigen Erledigung der Streitsache (res iudicata) geäussert. Das Zivilgericht hat die Rechtskraft aufgrund der Klageanerkennung bzw. des Abschreibungsbeschlusses aus dem Jahre 1996 bejaht. Das Appellationsgericht hat dies bestätigt und mit weiteren Ausführungen ergänzt, weshalb sich die Beschwerdeführerin vor Bundesgericht auch gegen die entsprechenden Erwägungen der beiden Vorinstanzen zur Wehr setzt (dazu unten E. 5).
Unbestrittenermassen nicht Gegenstand des Appellations- und des Beschwerdeverfahrens vor Bundesgericht bildet hingegen die eingeklagte Parteientschädigung über Fr. 6'007.70.
3. Bevor geprüft werden kann, ob die Basler Gerichte ihre Zuständigkeit zur Beurteilung der erhobenen Klage zu Recht abgelehnt haben, ist zunächst der Streitgegenstand anhand des Begehrens der Beschwerdeführerin an das Zivilgericht zu ermitteln (oben lit. B). Daraus erhellt, dass es der Beschwerdeführerin darum geht, die Beschwerdegegner zur Zahlung einer bestimmten Summe unter dem Titel der Ausgleichszahlung verurteilen zu lassen. Die eingeklagte Summe geht zurück auf den Erbteilungsvertrag zwischen der Beschwerdeführerin und C._ aus dem Jahre 1990 über den Nachlass ihrer Mutter A._ bzw. auf die Klageanerkennung, mit welcher C._ im Jahre 1996 nach Klage der Beschwerdeführerin ihre Verpflichtung zur Bezahlung der entsprechenden Summe anerkannt hatte.
Die Beschwerdeführerin hat indes vor Zivilgericht nicht nur ein Leistungsbegehren auf Zahlung dieser Ausgleichssumme gestellt, sondern auch ein Begehren auf Feststellung, dass die Beschwerdegegner in die fragliche Verpflichtung ihrer Mutter C._ nachgefolgt seien. Allerdings hat dieses Feststellungsbegehren keine eigenständige Bedeutung; vielmehr stellt die Nachfolge in die Schuld notwendige Vorbedingung einer Verurteilung der Beschwerdegegner zur Leistung dar. Ob die Beschwerdegegner Erben ihrer Mutter geworden sind, welche sich einst im Erbteilungsvertrag zur Bezahlung der umstrittenen Summe verpflichtet hatte, bildet mit anderen Worten eine Vorfrage bzw. ein Begründungselement auf dem Weg zu einem Leistungsurteil. Daran ändert nichts, dass im vorliegenden Fall gerade diese Rechtsnachfolge der am meisten umstrittene Punkt sein mag. Von diesem Verständnis geht auch die Beschwerdeführerin aus. Sie selbst bezeichnet in ihrer Beschwerde an das Bundesgericht das Begehren um Bezahlung der Soulte als Hauptfrage und geht ausdrücklich davon aus, dass die Feststellung der Rechtsnachfolge bloss im Motiv des Urteils erfolgen solle und keine über die Beurteilung der Soulte hinausgehende Bedeutung habe. Zusammenfassend stellt somit das Feststellungsbegehren weder einen selbständigen Hauptanspruch dar, der im Sinne einer Klagehäufung neben das Leistungsbegehren treten würde, noch - entgegen der Ansicht der Vorinstanz - die (einzige) Hauptfrage, zu der das Thema der Leistung einer Soulte als Vorfrage hinzutreten würde. Insoweit ist das Feststellungsbegehren in der Klage überflüssig.
4. Zu prüfen ist, ob die Basler Gerichte zur Beurteilung der Klage auf Zahlung der Soulte international und örtlich zuständig sind.
4.1 Die Beschwerdeführerin stützt die Zuständigkeit des angerufenen Gerichts darauf ab, dass Basel-Stadt Heimatgerichtsstand von A._ sei und dem geltend gemachten Anspruch auf Wertausgleich im Rahmen der Teilung des Nachlasses von A._ erbrechtliche Natur zukomme.
4.2 A._ ist 1986 verstorben. Das IPRG ist am 1. Januar 1989 in Kraft getreten. Seine Zuständigkeitsvorschriften kommen immer zur Anwendung, wenn die Klage nach dem 1. Januar 1989 eingereicht wurde (BGE 116 II 209 E. 2b/bb S. 212; Urteil 4C.3/1994 vom 13. Juni 1994 E. 4, in: SJ 1994 687, mit Hinweisen). Dies ist vorliegend der Fall. Gemäss Art. 87 Abs. 2 i.V.m. Art. 86 Abs. 1 IPRG sind die schweizerischen Gerichte oder Behörden für Nachlassverfahren und erbrechtliche Streitigkeiten zuständig, wenn ein Schweizer Bürger mit letztem Wohnsitz im Ausland sein in der Schweiz gelegenes Vermögen oder seinen gesamten Nachlass durch letztwillige Verfügung oder Erbvertrag der schweizerischen Zuständigkeit oder dem schweizerischen Recht unterstellt hat. Dies hat A._ unstrittig getan. Es stellt sich aber die Frage, ob die vorliegende Streitigkeit überhaupt eine erbrechtliche im Sinne des IPRG ist.
4.3 Eine Klage ist erbrechtlicher Natur, wenn sich die Parteien auf einen erbrechtlichen Titel berufen, um einen Teil ihrer Erbschaft zu fordern und die Existenz ihrer Rechte feststellen zu lassen. Erbrechtliche Streitigkeiten betreffen demnach Klagen, mit denen Bestand oder Höhe erbrechtlicher Ansprüche geltend gemacht oder bestritten werden (BGE 132 III 677 E. 3.3 S. 679 f.; 119 II 77 E. 3a S. 81; je mit Hinweisen). Ob die Klage auf Leistung aus einem Erbteilungsvertrag bzw. ob konkret die Einklagung einer in einem Erbteilungsvertrag vereinbarten Ausgleichszahlung (Soulte) eine erbrechtliche Angelegenheit darstellt, musste das Bundesgericht bisher nicht entscheiden.
Im Zusammenhang mit dem Vollzug von Erbteilungsverträgen sind zwei Entscheide zu erwähnen, in denen das Bundesgericht die erbrechtliche Zuständigkeit verneint hat. In BGE 117 II 26 E. 2 S. 27 ff. hat es das Bundesgericht abgelehnt, eine Klage auf Errichtung einer Dienstbarkeit als erbrechtliche Klage zu behandeln. Die fragliche Verpflichtung war zwar anlässlich einer Erbteilung von einem Erben eingegangen worden, doch war die Durchführung der Teilung als solche nicht mehr streitig. Die strittige Verpflichtung stellte zudem einen Vertrag zugunsten einer am Nachlass nicht beteiligten Drittperson (Art. 112 OR) dar und hatte keinen direkten Bezug zur fraglichen Erbschaft. Mithin fehlte der enge Bezug zum Erbrecht, der zur Annahme einer erbrechtlichen Streitigkeit erforderlich ist (BGE 117 II 26 E. 2a S. 28). Ebenso fehlte dieser Bezug im Urteil 5A_230/2007 vom 7. Juli 2008, wo es zwar ebenfalls um eine Streitigkeit im Nachgang zu einer Erbteilung ging und unter dem Titel der Soulte eine Ausgleichszahlung verlangt wurde. Die fragliche Forderung diente aber nicht dem Ausgleich in der Erbteilung, sondern war auf einen separaten Kaufvertrag über bereits vorher zugeteilte Gesellschaftsanteile aus dem Nachlass zurückzuführen, wobei geltend gemacht wurde, der Kaufpreis sei zu tief angesetzt worden (E. 4.2).
Anders als in diesen Fällen verhält es sich jedoch, wenn die in einem Erbteilungsvertrag festgelegte Ausgleichszahlung (Soulte) Streitgegenstand bildet. Eine solche Ausgleichsleistung ist eng verknüpft mit der Bildung und Zuteilung der Lose als Teil der Erbteilung. Sind sich die Erben einig, so sind sie frei, einen solchen Ausgleich bei der Erbteilung zu vereinbaren. Aber auch das Gesetz sieht in Art. 608 Abs. 2 ZGB einen entsprechenden Ausgleich ausdrücklich vor und Art. 612 Abs. 1 ZGB geht implizit von der Zulässigkeit einer Soulte aus. Die Soulte hat ihren Entstehungsgrund im Erbrecht und weist somit einen engen Bezug dazu auf. Dies gilt in der Folge auch für Streitigkeiten über die Soulte, namentlich für die Klage auf Vollzug eines abgeschlossenen Erbteilungsvertrags. Gültigkeit und Wirksamkeit des Erbteilungsvertrags sind Voraussetzung, damit die Klage gutgeheissen werden kann, und Mängel dieses Vertrages können einrede- oder einwendungsweise in den Prozess eingebracht werden. Schliesslich unterstehen nach der Rechtsprechung auch andere Klagen im Umfeld der Erbteilung dem Erbrechtsgerichtsstand. Dies gilt zunächst für die Erbteilungsklage (Urteil 5A_230/2007 vom 7. Juli 2008 E. 4.1), dann aber auch für die Anfechtung des Erbteilungsvertrags (Art. 638 ZGB; BGE 117 II 26 E. 2a S. 28 mit Hinweis). Der enge erbrechtliche Bezug der Vollzugsklage besteht im Übrigen unabhängig davon, ob die Erbengemeinschaft bereits als aufgelöst zu gelten hat oder nicht (vgl. dazu Urteil 5D_133/2010 vom 12. Januar 2011 E. 4), so dass im Weiteren die offenbar umstrittene Frage, ob der literarische Nachlass von B._ bereits geteilt sei, in diesem Zusammenhang unerheblich ist.
Bestätigt wird dieses Ergebnis durch einen Vergleich mit den Zuständigkeitsvorschriften im Binnenverhältnis. Im binnenrechtlichen Verhältnis wird die Klage auf Erfüllung des Erbteilungsvertrages von der überwiegenden Lehre ebenfalls als erbrechtliche Streitigkeit qualifiziert und Art. 18 GestG (in Kraft bis am 31. Dezember 2010; AS 2000 2358 f. und AS 2005 5707) bzw. Art. 28 ZPO unterstellt (HAROLD GRÜNINGER, in: Müller/Wirth [Hrsg.], Gerichtsstandsgesetz, 2001, N. 24 zu Art. 18 GestG; NICOLAS VON WERDT, in: Kellerhals und andere [Hrsg.], Gerichtsstandsgesetz, 2. Aufl. 2005, N. 14 zu Art. 18 GestG; CHRISTIAN BRÜCKNER/ THOMAS WEIBEL, Die erbrechtlichen Klagen, 2. Aufl. 2006, Rz. 232; CLAUDIA MARTIN-SPÜHLER, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, N. 4 zu Art. 28 ZPO; ALEXANDER ZÜRCHER, in: Sutter-Somm und andere [Hrsg.], Kommentar zur Schweizerischen Zivilprozessordnung, 2010, N. 9 zu Art. 28 ZPO; BRUNO COCCHI, in: Commentario al Codice di diritto processuale civile svizzero, 2011, S. 49; vgl. zu aArt. 538 Abs. 2 ZGB als Vorgängernorm zu Art. 18 GestG GEORG LEUCH UND ANDERE, Die Zivilprozessordnung für den Kanton Bern, 5. Aufl. 2000, N. 2b zu Art. 30 ZPO/BE). Im Sinne einer systematischen, auf die Einheit der Rechtsordnung bedachten Rechtsprechung kann diese Doktrin zur Auslegung des IPRG beigezogen werden, zumal Gründe für eine unterschiedliche Behandlung der Klage auf Zahlung der Soulte im Binnen- und im internationalen Verhältnis nicht ersichtlich sind.
Schliesslich steht auch das Lugano-Übereinkommen (LugÜ; ehedem SR 0.275.11 [Fassung vom 16. September 1988; AS 1991 2436] und SR 0.275.12 [Fassung vom 30. Oktober 2007]) der Anwendung von Art. 86 Abs. 1 i.V.m. Art. 87 Abs. 2 IPRG nicht entgegen. Das Gebiet des Erbrechts ist von seinem Anwendungsbereich ausgeschlossen (Art. 1 Abs. 2 Ziff. 1 LugÜ 1988 bzw. Art. 1 Ziff. 2 lit. a LugÜ 2007). Der Begriff des Erbrechts im LugÜ braucht zwar nicht mit dem schweizerischen Verständnis dieses Begriffs identisch zu sein. Allerdings werden auch im Zusammenhang mit dem LugÜ Streitigkeiten über Teilungsverträge als erbrechtlich qualifiziert (FELIX DASSER, in: Kommentar zum Lugano-Übereinkommen [LugÜ], 2008, N. 74 zu Art. 1 LugÜ).
Daraus folgt, dass das Zivilgericht Basel-Stadt zur Behandlung der Klage der Beschwerdeführerin international und örtlich zuständig ist.
4.4 Die soeben bestimmte Zuständigkeit gilt auch für die Vorfrage der Erbenstellung der Beschwerdegegner. Nach allgemeinen prozessrechtlichen Grundsätzen hat der in der Hauptsache zuständige Richter auch über Vorfragen zu entscheiden (MAX GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 81 und 101; vgl. auch DASSER, a.a.O., N. 52 f. zu Art. 1 LugÜ). Im vorliegenden internationalrechtlichen Zusammenhang ist keine abweichende Regelung ersichtlich.
5. Das kantonale Verfahren ist auf die Prüfung der örtlichen - und implizit der internationalen - Zuständigkeit beschränkt worden. Die ausführlichen Erwägungen des Zivilgerichts und die ergänzenden Erwägungen des Appellationsgerichts zur Frage der res iudicata (oben E. 2) stellen deshalb blosse obiter dicta ausserhalb des Prozessthemas dar. Dazu kann sich das Bundesgericht aufgrund der Verfahrensbeschränkung nicht äussern. Die Angelegenheit ist deshalb an das Zivilgericht zurückzuweisen. Dieses wird zu überprüfen haben, ob die Klageanerkennung von C._ hinsichtlich der nunmehr eingeklagten Forderung die Sperrwirkung materieller Rechtskraft entfaltet, so dass ein erneuter Prozess ausgeschlossen erscheint (ne bis in idem), oder ob - trotz allfälliger Rechtskraftwirkung - eine erneute Klage aufgrund der Umstände dieses Falles möglich ist.
6. Angesichts des noch offenen Verfahrensausgangs rechtfertigt es sich, die Gerichtskosten zu halbieren und die Parteikosten wettzuschlagen (Art. 66 Abs. 1, Art. 68 Abs. 1 BGG). Das Appellationsgericht hat die bisherigen kantonalen Gerichts- und Parteikosten neu zu verteilen (Art. 67, Art. 68 Abs. 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 18. August 2010 aufgehoben. Die Angelegenheit wird zur weiteren Beurteilung im Sinne der Erwägungen an das Zivilgericht Basel-Stadt zurückgewiesen.
2. Zur Neuverteilung der bisherigen kantonalen Gerichts- und Parteikosten wird die Angelegenheit an das Appellationsgericht des Kantons Basel-Stadt zurückgewiesen.
3. Die Gerichtskosten von insgesamt Fr. 3'000.-- werden dem Beschwerdeführer und den Beschwerdegegnern je zur Hälfte auferlegt.
4. Die Parteikosten werden wettgeschlagen.
5. Dieses Urteil wird den Parteien, dem Zivilgericht Basel-Stadt und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 3. Juni 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg