Erwägungen:
1. 1.1 Der serbische Staatsangehörige X._ (geb. 1974) reiste am 20. November 1988 im Rahmen des Familiennachzuges in die Schweiz ein. Am 21. März 1989 wurde ihm die Niederlassungsbewilligung erteilt. Am 11. August 1996 heiratete er im Heimatland eine Landsfrau, der aufgrund der Heirat eine Aufenthaltsbewilligung und am 9. Oktober 2001 die Niederlassungsbewilligung erteilt wurde. Die Eheleute haben drei gemeinsame Kinder (geb. 1999, 2000 bzw. 2004). Gemäss Arztzeugnis vom 11. März 2011 ist die Ehefrau erneut schwanger.
1.2 X._ wurde wiederholt straffällig:
- Urteil des Amtsgerichtspräsidenten Thal-Gäu vom 5. November 1996 wegen mehrfachen Tätlichkeiten, Sachbeschädigung und Drohung: 1 Monat Gefängnis, bedingt auf zwei Jahre, sowie Fr. 500.-- Busse;
- Urteil des Gerichtskreises II Biel-Nidau vom 27. August 1999 wegen Angriffs, Drohung, Sachbeschädigung, Zechprellerei sowie Widerhandlungen gegen das Strassenverkehrs- und das Waffengesetz: 25 Tage Gefängnis;
- Urteil des Kriminalgerichtes des Kantons Solothurn vom 17. September 2004 wegen Raubes und mehrfacher Widerhandlung gegen das Waffengesetz: 23 Monate und 5 Tage Gefängnis sowie 5 Jahre Landesverweisung mit einer Probezeit von 3 Jahren;
- Urteil des Obergerichts des Kantons Solothurn vom 7. September 2009 (bestätigt durch Urteil des Bundesgerichts vom 26. März 2010) wegen Menschenhandels, mehrfacher Vergewaltigung, mehrfacher Förderung der Prostitution, mehrfachen Erleichterns des rechtswidrigen Aufenthalts mit Bereicherungsabsicht und der mehrfachen Beschäftigung von Ausländern ohne Bewilligung: 4 Jahre und 6 Monate Freiheitsstrafe, 20 Tagessätze Geldstrafe zu je Fr. 20.-- sowie Fr. 400.-- Busse.
1.3 Mit Verfügung des Departements des Innern des Kantons Solothurn vom 12. November 2010 wurde die Niederlassungsbewilligung von X._ widerrufen und der Betroffene aus der Schweiz weggewiesen. Das Verwaltungsgericht des Kantons Solothurn bestätigte diese Verfügung mit Urteil vom 4. April 2011. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. Mai 2011 beantragt X._, in Aufhebung des Urteils des Verwaltungsgerichts des Kantons Solothurn vom 4. April 2011 sei die Verfügung des Departements des Innern des Kantons Solothurn vom 12. November 2010 aufzuheben.
Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 11. Mai 2011 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
Das Verwaltungsgericht sowie das Departement des Innern des Kantons Solothurn schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei, wobei das Departement des Innern zusätzlich beantragt, der Beschwerde die aufschiebende Wirkung zu entziehen.
2. 2.1 Anfechtungsobjekt ist ausschliesslich das Urteil des Verwaltungsgerichts. Soweit mit dem Rechtsmittel die Aufhebung der Verfügung des Departements des Innern beantragt wird, kann darauf nicht eingetreten werden (Devolutiveffekt; vgl. Art. 86 Abs. 1 lit. d BGG; BGE 134 II 142 E. 1.4 S. 144 mit Hinweis). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die nach dem angefochtenen Urteil ausgestellten Beweismittel können als echte Noven im vorliegenden Verfahren nicht berücksichtigt werden.
2.2 Der Beschwerdeführer wurde wiederholt straffällig und zuletzt (7. September 2009) zu einer Freiheitsstrafe von 4 Jahren und 6 Monaten, die die Grenze zur längerfristigen Freiheitsstrafe gemäss Art. 62 lit. b des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; BGE 135 II 377 E. 4.2 und E. 4.5 S. 379 ff.) um das Mehrfache überschreitet, verurteilt. Damit besteht nach Art. 62 lit. b in Verbindung mit Art. 63 Abs. 2 AuG ohne Weiteres ein Grund, die Niederlassungsbewilligung zu widerrufen. Die Vorinstanz erachtete zudem auch den Widerrufsgrund gemäss Art. 63 Abs. 1 lit b AuG als gegeben.
2.3 Ein Widerruf der Niederlassungsbewilligung rechtfertigt sich nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme auch als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (BGE 135 II 377 E. 4.3 ff. S. 381 ff.; vgl. Art. 96 Abs. 1 AuG). Analoge Kriterien ergeben sich aus Art. 8 Ziff. 2 EMRK bzw. Art. 13 BV in Verbindung mit Art. 36 BV. Mit Blick auf das gefestigte Anwesenheitsrecht seiner Ehegattin sowie seiner minderjährigen Kinder kann sich der Beschwerdeführer auch auf diese grundrechtlichen Bestimmungen berufen (vgl. BGE 135 I 143 E. 1.3.2 und E. 2 S. 146 ff., 153 E. 2 S. 154 ff.; je mit Hinweisen).
3. 3.1 Die Vorinstanz ging zu Recht von einem erheblichen Verschulden des Beschwerdeführers aus. Gemäss dem Urteil des Obergerichts des Kantons Solothurn vom 7. September 2009 zeigte der Beschwerdeführer eine erschreckende Geringschätzung des (sexuellen) Selbstbestimmungsrechts seiner Opfer. Er hat Frauen missbraucht, um einen möglichst hohen Profit zu erzielen, und neigt zu Gewalttätigkeit. Weder die ersten Verurteilungen noch die fremdenpolizeiliche Verwarnung vom 12. Juli 2006 vermochten ihn zu beeindrucken. Von der Rückfälligkeit hielten ihn auch seine bereits bestehende familiäre Situation und seine beruflichen Aktivitäten nicht ab. Im Gegenteil beging er erneut Delikte, wobei diese an Intensität zunahmen (Raub, Vergewaltigung, Menschenhandel). Im Zeitpunkt des angefochtenen Urteils war der Beschwerdeführer erst seit etwas über vier Monaten bedingt aus dem Strafvollzug entlassen worden. Zudem war er dem Druck der Probezeit sowie des vorliegenden Widerrufsverfahrens ausgesetzt, weshalb nicht von einer Bewährung gesprochen und - wie von der Vorinstanz zutreffend dargelegt - ein Rückfallrisiko nicht ausgeschlossen werden kann. Dass sich der Beschwerdeführer im Strafvollzug wohl verhalten hat, fällt insofern nicht entscheidend ins Gewicht. Es besteht somit ein erhebliches öffentliches Interesse an der Entfernung des Beschwerdeführers.
3.2 Der Beschwerdeführer lebt zwar seit ungefähr 23 Jahren in der Schweiz, wobei die Aufenthaltsdauer jedoch durch den Gefängnisaufenthalt sowie den in der Heimat geleisteten Militärdienst (7. Juni 2001 bis 17. Mai 2002) relativiert wird. Es trifft zu, dass der Beschwerdeführer weder Sozialhilfe bezogen hat noch im Betreibungsregister verzeichnet ist. Eine ausserordentlich enge Beziehung zur Schweiz ist allerdings nicht ersichtlich. Zudem ist der Beschwerdeführer nicht in der Schweiz geboren, sondern erst als 14-Jähriger in die Schweiz eingereist. Die Vorinstanz ist zu Recht davon ausgegangen, dass er mit den sozialen und kulturellen Verhältnissen im Heimatland, wo er mehrheitlich seine schulische Ausbildung absolviert sowie Militärdienst geleistet hat, nach wie vor vertraut ist, und ihm daher eine Rückkehr dorthin zumutbar ist.
Seine Ehefrau stammt ebenfalls aus Serbien und lebt erst seit ihrer Heirat mit dem Beschwerdeführer in der Schweiz. Ihr sowie den Kindern, die noch in einem anpassungsfähigen Alter sind, ist es nicht unzumutbar, dem Beschwerdeführer in das gemeinsame Heimatland zu folgen. Dass die älteste Tochter wegen der drohenden Wegweisung an psychischen Problemen leidet, hat der Beschwerdeführer seinem deliktischen Verhalten zuzuschreiben. Auch der Umstand, dass die Ehegattin erneut schwanger ist, vermag die vorinstanzliche Würdigung nicht zu erschüttern, zumal die Ehegatten das Kind zeugten, als sie vom Widerruf der Niederlassungsbewilligung des Beschwerdeführers bereits Kenntnis hatten und sich somit bewusst sein mussten, dass sie das gemeinsame Familienleben nicht in der Schweiz werden fortführen können. Ist es den Familienmitgliedern zumutbar, ihre Beziehung im Ausland zu leben, ist der Anspruch auf Achtung des Familienlebens nach Art. 8 EMRK durch die verfügte fremdenpolizeiliche Massnahme nicht verletzt. Zudem sind vorliegend aufgrund der massiven Straffälligkeit des Beschwerdeführers und des nicht hinzunehmenden Rückfallrisikos auch die Voraussetzungen für einen Eingriff in das Recht auf Achtung des Familienlebens im Sinne von Art. 8 Abs. 2 EMRK erfüllt. Letztlich kommt der Ehegattin die Wahl zu, ob sie mit den Kindern dem Beschwerdeführer ins Ausland folgen oder weiterhin in der Schweiz bleiben will.
3.3 Angesichts des gewichtigen öffentlichen Interesses an der Entfernung des Beschwerdeführers, das hier auch nicht durch das Interesse der Familienangehörigen an seinem Verbleib aufgewogen werden kann, ist der Widerruf der Niederlassungsbewilligung des Beschwerdeführers bundesrechts- und konventionskonform. Ergänzend wird auf die Ausführungen im Urteil des Verwaltungsgerichts verwiesen (Art. 109 Abs. 3 BGG).
4. Die Beschwerde erweist sich nach dem Dargelegten als offensichtlich unbegründet und ist daher im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung abzuweisen, soweit darauf eingetreten werden kann. Mit dem Entscheid in der Sache wird der Antrag des Departements des Innern, der Beschwerde die aufschiebende Wirkung zu entziehen, gegenstandslos.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Departement des Innern des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 11. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs