Sachverhalt:
A. Der sri-lankische Staatsangehörige X._ (geboren am 10. Januar 1990) reiste am 4. September 1994 mit seiner Familie in die Schweiz ein. Das Asylgesuch für die Familie von X._ wurde zwar abgewiesen, die Familie aber vorläufig aufgenommen. Am 26. September 2002 erhielten alle Familienmitglieder die Aufenthaltsbewilligung.
Mit Urteil des Kreisgerichts II Biel-Nidau vom 5. Juli 2010 wurde X._ der Freiheitsberaubung und Entführung unter erschwerenden Umständen, der qualifizierten sexuellen Nötigung sowie der qualifizierten Vergewaltigung, mehrfach und gemeinsam begangen, schuldig erklärt und zu einer Freiheitsstrafe von drei Jahren, unter bedingtem Aufschub einer Teilstrafe von zwei Jahren bei einer Probezeit von drei Jahren, verurteilt.
B. Nach Gewährung des rechtlichen Gehörs verfügte das Departement des Innern des Kantons Solothurn, vertreten durch Migration und Schweizer Ausweise, am 21. März 2012, dass die Aufenthaltsbewilligung von X._ widerrufen bzw. nicht verlängert wird. Es wies diesen weg und setzte ihm Frist bis 30. Juni 2012, um die Schweiz zu verlassen. Eine dagegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 6. Juni 2012 ab; X._ wurde angewiesen, die Schweiz bis spätestens 31. August 2012 zu verlassen.
C. Mit Eingabe vom 12. Juli 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des Urteils des Verwaltungsgerichts vom 6. Juni 2012. Weiter sei dem Beschwerdeführer die Aufenthaltsbewilligung zu verlängern und auf eine Wegweisung zu verzichten.
Das Verwaltungsgericht und das Departement des Innern des Kantons Solothurn beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
Mit Verfügung vom 18. Juli 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Das Bundesgericht prüft seine Zuständigkeit bzw. die Zulässigkeit des Rechtsmittels von Amtes wegen (Art. 29 Abs. 1 BGG) und mit freier Kognition (BGE 137 III 417 E. 1).
1.2 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist auf dem Gebiet des Ausländerrechts gegen Entscheide betreffend Bewilligungen ausgeschlossen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (Art. 83 lit. c Ziff. 2 BGG). Der Beschwerdeführer kann hier zwar keinen Rechtsanspruch auf Verlängerung seiner ausländerrechtlichen Aufenthaltsbewilligung aus dem Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) ableiten. Hingegen beruft er sich auf das Recht auf Achtung des Privat- und Familienlebens im Sinne von Art. 8 Ziff. 1 EMRK bzw. Art. 13 Abs. 1 BV. Für das Eintreten ist dabei einzig von Belang, ob der Beschwerdeführer durch einen Verwaltungsakt in seiner Eigenschaft als möglicher Träger des Rechts auf Achtung des Familienlebens berührt ist und eine Verletzung dieses behaupteten Rechts in vertretbarer Weise geltend macht. Beides trifft vorliegend zu. Ob der Rechtsanspruch besteht, und - soweit dies zutrifft - im konkreten Fall auch tatsächlich verletzt wurde, ist hingegen in der Sache selbst zu klären (BGE 136 II 177 E. 1.1 S. 179 f., 497 E. 3.3 S. 500 f.; Urteil 2C_730/2011 vom 24. Februar 2012 E. 1.2). Gestützt darauf ist auf die Beschwerde grundsätzlich einzutreten, zumal die allgemeinen Sachurteilsvoraussetzungen zu keinen Bemerkungen Anlass geben.
1.3 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Dabei prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), an sich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 135 II 384 E. 2.2.1 S. 389; 134 III 102 E. 1.1 S. 104; 133 II 249 E. 1.4.1 S. 254). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft es hingegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
1.4 Das Bundesgericht legt seinem Urteil grundsätzlich den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Sachverhaltsfeststellungen, soweit rechtserheblich, können nur gerügt werden, falls sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 97 Abs. 1 BGG). Dies ist dann der Fall, wenn der Sachverhalt willkürlich ermittelt worden ist (Art. 9 BV) oder die Sachverhaltsfeststellungen unter Verletzung verfassungsmässiger Rechte und Grundsätze zustande gekommen sind (BGE 135 II 145 E. 8.1 S. 153).
1.5 Soweit der Beschwerdeführer auf Eingaben und Akten vor der Vorinstanz verweist (vgl. Beschwerdeschrift Ziff. II.4), tritt das Bundesgericht praxisgemäss nicht darauf ein. Die erhobenen Rügen müssen in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f. mit Hinweisen).
1.6 Da neue Tatsachen und Beweismittel nur soweit vorgebracht werden dürfen, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG), und echte tatsächliche Noven nicht berücksichtigt werden können (BGE 133 IV 342 E. 2.1 S. 343 f.), sind die vom Beschwerdeführer vor Bundesgericht erstmals ins Recht gelegten Beweismittel unbeachtlich (vgl. E. 3.2.3 hiernach).
2. 2.1 Gemäss Art. 62 lit. b AuG kann die Aufenthaltsbewilligung unter anderem dann widerrufen bzw. nicht verlängert werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Von einer längerfristigen Freiheitsstrafe ist nach der Rechtsprechung bei einer Freiheitsstrafe von mehr als einem Jahr auszugehen (BGE 135 II 377 E. 4.2 und 4.5 S. 379 ff.), und zwar unabhängig davon, ob die Strafe bedingt, teilbedingt oder unbedingt zu vollziehen ist (Urteil 2C_515/2009 vom 27. Januar 2010 E. 2.1). Nachdem der Beschwerdeführer am 5. Juli 2010 zu einer Freiheitsstrafe von drei Jahren verurteilt worden ist, sind die Voraussetzungen für den Widerruf der Aufenthaltsbewilligung im Sinne von Art. 62 lit. b AuG vorliegend ohne Weiteres erfüllt.
2.2 Wenn ein Ausländer durch sein Verhalten einen Widerrufsgrund gesetzt hat, bleibt zu prüfen, ob diese Massnahme auch als verhältnismässig erscheint. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration sowie die dem Betroffenen drohenden Nachteile zu berücksichtigen (BGE 135 II 377 E. 4.3 ff. S. 381 ff.; vgl. auch Art. 96 Abs. 1 AuG). Nach der Rechtsprechung des Bundesgerichts zu dieser gesetzlichen Regelung und zu den analogen früheren Bestimmungen (Art. 10 Abs. 1 lit. a und Art. 11 Abs. 3 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer [ANAG; in Kraft gewesen bis zum 31. Dezember 2007]) sind umso strengere Anforderungen an eine fremdenpolizeiliche Massnahme zu stellen, je länger ein Ausländer in der Schweiz anwesend war. Selbst bei einem Ausländer, der bereits hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat (Ausländer der zweiten Generation), sind fremdenpolizeiliche Massnahmen aber nicht ausgeschlossen; bei schweren bzw. wiederholten Straftaten, insbesondere bei Gewalt- und Betäubungsmitteldelikten, besteht hieran ein wesentliches öffentliches Interesse (BGE 122 II 433 E. 2c S. 436; 130 II 176 E. 4.4.2 S. 190).
2.3 Die Notwendigkeit einer Verhältnismässigkeitsprüfung ergibt sich auch aus Art. 8 Ziff. 2 EMRK: Danach ist ein Eingriff in das von Art. 8 Ziff. 1 EMRK geschützte Privat- und Familienleben dann statthaft, wenn er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung oder zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig erscheint. Bei der Interessenabwägung im Rahmen von Art. 8 Ziff. 2 EMRK sind - wie früher bei jener nach Art. 11 Abs. 3 ANAG - die Schwere des begangenen Delikts, der seit der Tat vergangene Zeitraum, das Verhalten des Ausländers während dieser Periode, die Auswirkungen auf die primär betroffene Person sowie deren familiäre Situation zu berücksichtigen (BGE 135 II 377 E. 4.3 S. 381).
3. 3.1 Der Beschwerdeführer ist der Auffassung, der Widerruf seiner Aufenthaltsbewilligung sei unverhältnismässig. Er sei nicht vorbestraft und habe keine Schulden. Im Vergleich zu den übrigen Mittätern sei sein Tatbeitrag zur gemeinsamen Vergewaltigung "untergeordnet" gewesen. Er sei zudem stark in der Schweiz integriert, wo er seine familiären, sozialen und kulturellen Beziehungen und Wurzeln habe. Ein beruflicher Einstieg in Sri Lanka sei allein aufgrund der wirtschaftlichen Lage in seiner Heimat kaum möglich. Zudem drohe ihm als Tamile in Sri Lanka Diskriminierung und Verfolgung durch die sri-lankische Regierung. Im Übrigen bestehe zwischen ihm und seinen Eltern ein besonderes Abhängigkeitsverhältnis, weshalb die Wegweisung gegen Art. 8 EMRK verstosse.
3.2 Die Einwendungen des Beschwerdeführers vermögen nicht zu überzeugen:
3.2.1 Soweit er auf eine günstige Rückfallprognose hinweist, ist festzuhalten, dass das Bundesgericht zwar auch bei denjenigen Ausländern die Rückfallgefahr und den Resozialisierungsgedanken in die Verhältnismässigkeitsprüfung mit einbezieht, welche sich nicht auf das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681) berufen können. Wie die Vorinstanz zu Recht eingewendet hat, gibt die Prognose über künftiges Wohlverhalten in diesen Fällen jedoch nicht den Ausschlag (vgl. BGE 130 II 176 E. 4.2 S. 185; 125 II 105 E. 2c S. 110, jeweils mit Hinweisen). Zudem wird vom Bundesgericht bei schwerer Delinquenz, insbesondere bei Delikten gegen die körperliche und sexuelle Integrität, eine strenge Praxis verfolgt (BGE 125 II 521 E. 4a/aa S. 526 f.; 122 II 433 E. 2c S. 436 f.): Selbst ein geringes Rückfallrisiko muss diesfalls nicht hingenommen werden.
3.2.2 Die Vorinstanz ist hier zu Recht von einem erheblichen Verschulden des Beschwerdeführers ausgegangen (vgl. angefochtener Entscheid E. 2d), was auch von diesem nicht in Abrede gestellt wird (vgl. Beschwerde S. 6 oben). Die vom Beschwerdeführer im Erwachsenenalter verübten Straftaten sind in der Tat gravierend: Die Umstände des von ihm am 5. Oktober 2008 gemeinsam mit vier Mittätern verübten schweren Vergewaltigungsdelikts werden im Urteil des Kreisgerichts II Biel-Nidau vom 5. Juli 2010 eindrücklich aufgezeigt und im angefochtenen Entscheid des Verwaltungsgerichts treffend zusammengefasst. Daraus ist zu entnehmen, dass es sich um "massive Eingriffe in die physische, psychische sowie sexuelle Integrität" gehandelt hat und der Beschwerdeführer und seine Mittäter das damals 22-jährige Opfer "zum reinen Objekt degradiert und bis zur vollständigen Erschöpfung gequält, erniedrigt, gedemütigt und missbraucht" haben. Das Vorgehen des Beschwerdeführers und seiner Mittäter zeugt gemäss dem Kreisgericht "von grösster Rücksichtslosigkeit und einem Mangel an Respekt gegenüber dem Leben anderer". Dieser Einschätzung ist nichts mehr beizufügen. Auch wenn der Beschwerdeführer einwendet, er habe - im Gegensatz zu den Mittätern - nicht penetriert, ist das Gericht klar von Mittäterschaft ausgegangen. Das Gericht hat zwar sein Verschulden als weniger schwer als dasjenige seiner Mittäter beurteilt, aber doch festgehalten, dass auch er sich entschlossen hatte, seinen Tatbeitrag zu leisten. Es kann somit - entgegen der Ansicht des Beschwerdeführers - nicht von einem "untergeordneten" Tatbeitrag gesprochen werden.
Bei dieser Sachlage durften die Vorinstanzen ohne Weiteres davon ausgehen, dass ein eminentes öffentliches Interesse am Widerruf der Aufenthaltsbewilligung des Beschwerdeführers besteht.
3.2.3 Es trifft zwar zu, dass der ledige und kinderlose Beschwerdeführer nunmehr seit 18 Jahren und damit den überwiegenden Teil seines bisherigen Lebens in der Schweiz ansässig ist. Jedoch ist mit den Vorinstanzen festzustellen, dass der Grad seiner Integration in die schweizerische Gesellschaft nicht mit seiner langen Aufenthaltsdauer übereinstimmt. Der Beschwerdeführer besuchte zwar in der Schweiz die Schule, konnte aber eine Lehre als Carosseriespengler aufgrund seiner schlechten Schulleistungen nicht antreten. Bis zu seiner Verhaftung war er arbeitslos. Immerhin arbeitet der Beschwerdeführer seit Frühling 2010 als Maschinenführer und sein Arbeitgeber scheint mit seinen Leistungen zufrieden zu sein. Im Übrigen kann von einer engen Verbundenheit des Beschwerdeführers mit der Schweiz nicht die Rede sein; vielmehr ist höchstens von einer durchschnittlichen Integration auszugehen. Die Behauptung des Beschwerdeführers, er pflege "rege Kontakte" auch zu Schweizern, sowie die angebliche aktive Mitgliedschaft in einem Fussballverein vermögen daran nichts zu ändern. In diesem Zusammenhang fällt auch auf, dass der Beschwerdeführer das schwere Vergewaltigungsdelikt zusammen mit vier aus Sri Lanka stammenden Mittätern begangen hat; im Weiteren sind jedoch keine konkreten Hinweise auf einen schweizerischen Bekanntenkreis ersichtlich. Insgesamt ist der vom Beschwerdeführer geltend gemachten langen Aufenthaltsdauer in der Schweiz somit kein allzu hohes Gewicht beizumessen.
Eine Rückkehr des Beschwerdeführers nach Sri Lanka würde diesen zwar sehr hart treffen, leben doch seine Eltern und Geschwister in der Schweiz. Immerhin verfügt der Beschwerdeführer aber auch über Verwandte in seiner Heimat, so etwa die Grosseltern sowie eine Tante mütterlicherseits. Zudem kann davon ausgegangen werden, dass ihm die lokale Kultur und die dortigen Gepflogenheiten durch sein Elternhaus vermittelt wurden und ihm diese auch durch die - spärlichen - Ferienbesuche nicht gänzlich unvertraut sind. Zudem ist der Vorinstanz beizupflichten, dass der Beschwerdeführer die tamilische Sprache zumindest mündlich genügend beherrscht. Dass der Beschwerdeführer in seiner Heimat weniger vorteilhafte wirtschaftliche Verhältnisse antreffen wird und er Schwierigkeiten haben dürfte, sich in den dortigen Arbeitsmarkt einzugliedern, mag allenfalls zutreffen. Diese Folge ist indessen seinem kriminellen Verhalten zuzuschreiben und deshalb hinzunehmen (Urteil 2C_1029/2011 vom 10. April 2012 E. 3.3.2 mit Hinweisen).
Der Beschwerdeführer macht schliesslich geltend, die tamilische Minderheit werde in Sri Lanka auch nach dem offiziellen Ende des Bürgerkriegs diskriminiert und in ihren Rechten eingeschränkt, und er legt in diesem Zusammenhang diverse neue Beweismittel ins Recht. Soweit diese erst nach dem Ergehen des angefochtenen Entscheids entstanden bzw. datiert sind, sind sie als echte Noven nicht zu beachten. Die übrigen Beweismittel hätte der Beschwerdeführer sodann bereits vor dem Verwaltungsgericht ins Recht legen können; neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG), was hier nicht der Fall ist (vgl. E. 1.6 hiervor). Im Übrigen sind sämtliche eingereichten Beweismittel (Berichte Human Rights Watch bzw. Flüchtlingshilfe, Länderberichte Amnesty International) sehr allgemein gehalten und gehen nicht spezifisch auf die konkrete Situation des Beschwerdeführers ein.
3.2.4 Nach dem Ausgeführten ist es nicht zu beanstanden, wenn die Vorinstanz annimmt, dass das öffentliche Interesse an einem Widerruf der Aufenthaltsbewilligung des Beschwerdeführers höher zu gewichten ist, als dessen Interessen an einem Verbleib in der Schweiz.
3.3 Soweit sich der Beschwerdeführer auf das von Art. 8 Ziff. 1 EMRK gewährleistete Recht auf Achtung des Privat- und Familienlebens beruft, kann seiner Rüge ebenfalls nicht gefolgt werden:
3.3.1 Nach der Rechtsprechung schützt Art. 8 EMRK im Zusammenhang mit der Bewilligung des Aufenthalts in erster Linie die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (BGE 135 I 143 E. 1.3.2 S. 146 mit Hinweisen). In den Schutzbereich von Art. 8 EMRK fallen aber auch nicht rechtlich begründete familiäre Verhältnisse, sofern eine genügend nahe, echte und tatsächlich gelebte Beziehung besteht; entscheidend ist die Qualität des Familienlebens und nicht dessen rechtliche Begründung (BGE 135 I 143 E. 3.1 S. 148; vgl. auch Urteil des EGMR Khan gegen Vereinigtes Königreich vom 12. Januar 2010, [47486/06] § 34 f. mit Hinweisen). Der Anspruch auf Schutz des Privatlebens kann auch ohne Familienbezug tangiert sein, wenn ein Ausländer ausgewiesen werden soll (Urteil des EGMR A.A. gegen Vereinigtes Königreich vom 20. September 2011, [8000/08] § 49). Aus diesem Anspruch ergibt sich ein Recht auf Verbleib im Land aber nur unter besonderen Umständen. Eine lange Anwesenheit und die damit verbundene normale Integration genügen hierzu nicht; erforderlich sind besonders intensive private Beziehungen beruflicher oder gesellschaftlicher Natur (BGE 130 II 281 E. 3.2.1 S. 286; 126 II 377 E. 2c S. 384 ff.; 120 Ib 16 E. 3b S. 22).
3.3.2 Zwar leben die Eltern des heute 23-jährigen Beschwerdeführers und auch seine Geschwister in der Schweiz. Der Beschwerdeführer ist aber der Kernfamilie entwachsen, unverheiratet und hat keine Kinder. Wohl mag er, wie er geltend macht, zu seinen Eltern und Geschwistern einen engen familiären Kontakt pflegen. Diese Beziehungen sind allerdings im Lichte von Art. 8 EMRK nicht mehr relevant (vgl. BGE 135 I 143 E. 1.3.2 S. 146); ein besonderes Abhängigkeitsverhältnis (namentlich Betreuungs- oder Pflegebedürfnisse bei körper lichen oder geistigen Behinderungen und schwerwiegenden Krankheiten), welches einen Aufenthaltsanspruch zu begründen vermöchte, ist nicht ersichtlich (vgl. BGE 129 II 11 E. 2 S. 14; 120 Ib 257 E. 1d und e S. 261 f. sowie Urteil 2C_213/2010 vom 11. Oktober 2010 E. 2.2.3). Von besonders intensiven privaten Beziehungen beruflicher und gesellschaftlicher Natur kann unter diesen Umständen nicht die Rede sein.
3.3.3 Hinsichtlich des Schutzes des Privat- und Familienlebens ist sodann festzuhalten, dass der in Art. 8 Ziff. 1 EMRK statuierte Anspruch ohnehin nicht absolut gilt: Vielmehr darf nach Art. 8 Ziff. 2 EMRK in das durch Ziff. 1 geschützte Rechtsgut eingegriffen werden, soweit der Eingriff gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesellschaft und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Gleich wie Art. 96 Abs. 1 AuG verlangt die Konvention in diesem Zusammenhang eine Abwägung der sich gegenüberstehenden privaten Interessen an der Aufrechterhaltung der Bewilligung und den öffentlichen Interessen an deren Widerruf, wobei die Entscheidungskriterien nahezu identisch sind. Daraus folgt, dass eine Massnahme, die sich - wie im vorliegenden Fall - im Sinne von Art. 96 Abs. 1 AuG als verhältnismässig erweist, grundsätzlich auch vor Art. 8 EMRK standhält.
3.3.4 Schliesslich trifft es zwar zu, dass gemäss der Rechtsprechung des Europäischen Gerichtshofes für Menschenrechte (EGMR) auch in gewissen Fällen massiver Straffälligkeit die privaten Interessen die öffentlichen Interessen an einer Fernhaltung zu überwiegen vermögen. Aufgrund der vorliegenden Umstände kann der Beschwerdeführer jedoch aus dieser Rechtsprechung nichts zu seinen Gunsten ableiten, da in den in der Beschwerdeschrift zitierten Fällen Verhältnisse zugrunde liegen, die sich in entscheidwesentlichen Punkten vom vorliegenden Sachverhalt unterscheiden: So hatte im Fall Beldjoudi gegen Frankreich vom 26. März 1992 (Beschwerde Nr. 12083/86) der Beschwerdeführer über 40 Jahre in Frankreich gelebt. Der Gerichtshof hielt fest, er scheine ausser seiner Staatsbürgerschaft keinerlei Beziehungen zu Algerien zu haben und kein Arabisch zu sprechen. Seine Ehefrau sei Französin, Tochter französischer Eltern, in Frankreich geboren und habe immer dort gelebt. Wenn sie gezwungen wäre, ihrem Ehemann zu folgen, müsste sie sich voraussichtlich in Algerien niederlassen, einem Staat, dessen Sprache sie wahrscheinlich nicht kenne, was ihr grosse Schwierigkeiten bereiten würde und wofür praktische und eventuell sogar rechtliche Hindernisse bestehen würden. Im Fall Nasri gegen Frankreich vom 13. Juli 1995 (Beschwerde Nr. 19465/92) handelte es sich um einen gehörlosen Beschwerdeführer, welcher ein Minimum an psychologischem und sozialem Gleichgewicht lediglich innerhalb seiner Familie erhalten konnte, wobei die Familienangehörigen französische Staatsangehörige ohne nähere Bindungen zu Algerien waren.
4. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich aufgrund der obenstehenden Erwägungen als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Departement des Innern des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 28. Januar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger