Sachverhalt: A. Der sri-lankische Staatsangehörige X._ (geboren am 10. Januar 1990) reiste am 4. September 1994 mit seiner Familie in die Schweiz ein. Das Asylgesuch für die Familie von X._ wurde zwar abgewiesen, die Familie aber vorläufig aufgenommen. Am 26. September 2002 erhielten alle Familienmitglieder die Aufenthaltsbewilligung. Mit Urteil des Kreisgerichts II Biel-Nidau vom 5. Juli 2010 wurde X._ der Freiheitsberaubung und Entführung unter erschwerenden Umständen, der qualifizierten sexuellen Nötigung sowie der qualifizierten Vergewaltigung, mehrfach und gemeinsam begangen, schuldig erklärt und zu einer Freiheitsstrafe von drei Jahren, unter bedingtem Aufschub einer Teilstrafe von zwei Jahren bei einer Probezeit von drei Jahren, verurteilt. B. Nach Gewährung des rechtlichen Gehörs verfügte das Departement des Innern des Kantons Solothurn, vertreten durch Migration und Schweizer Ausweise, am 21. März 2012, dass die Aufenthaltsbewilligung von X._ widerrufen bzw. nicht verlängert wird. Es wies diesen weg und setzte ihm Frist bis 30. Juni 2012, um die Schweiz zu verlassen. Eine dagegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 6. Juni 2012 ab; X._ wurde angewiesen, die Schweiz bis spätestens 31. August 2012 zu verlassen. C. Mit Eingabe vom 12. Juli 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des Urteils des Verwaltungsgerichts vom 6. Juni 2012. Weiter sei dem Beschwerdeführer die Aufenthaltsbewilligung zu verlängern und auf eine Wegweisung zu verzichten. Das Verwaltungsgericht und das Departement des Innern des Kantons Solothurn beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Mit Verfügung vom 18. Juli 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.