Sachverhalt:
A. Der serbische Staatsangehörige X._ (geb. 1974) heiratete im März 2004 in seiner Heimat die knapp 25 Jahre ältere A._, die ebenfalls aus Serbien stammt und im Oktober 2000 in der Schweiz eingebürgert worden war. Nach Bewilligung ihres Familiennachzugsgesuchs reiste X._ am 14. August 2005 in die Schweiz ein und erhielt eine - in der Folge regelmässig verlängerte - Aufenthaltsbewilligung.
Am 25. Oktober 2010 verweigerte das Departement des Innern des Kantons Solothurn, Abteilung Migration und Schweizer Ausweise, die weitere Verlängerung der Aufenthaltsbewilligung und wies X._ an, die Schweiz innert angesetzter Frist zu verlassen. Zur Begründung wurde angegeben, dass die Eheleute seit Januar 2008 nicht mehr zusammen lebten. Die Berufung auf die Ehe sei rechtsmissbräuchlich. Das hiegegen erhobene Rechtsmittel wies das Verwaltungsgericht des Kantons Solothurn am 4. Februar 2011 ab.
B. Mit Beschwerde vom 10. März 2011 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts aufzuheben und die Behörden anzuweisen, die Aufenthaltsbewilligung zu verlängern.
Das kantonale Departement des Inneren sowie das Verwaltungsgericht stellen den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Migration beantragt Abweisung der Beschwerde.
C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat dem am 19. April 2011 nachträglich gestellten Gesuch um Gewährung der aufschiebenden Wirkung hinsichtlich der Ausreiseverpflichtung mit Verfügung vom 27. April 2011 stattgegeben.

Erwägungen:
1. Soweit der Beschwerdeführer mit entsprechenden Sachverhaltsangaben einen Bewilligungsanspruch nach Art. 42, 49 und 50 AuG (SR 142.20) geltend macht, ist seine fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten trotz des Ausschlussgrundes des <ref-law> zulässig.
2. Das Verwaltungsgericht weist in seiner Vernehmlassung vom 28. April 2011 auf eine Aktennotiz bezüglich eines Telefonats hin, das am 4. Februar 2011 zwischen dem kantonalen Departement des Innern und der Ehefrau des Beschwerdeführers geführt worden sein soll. Danach hätte die Ehefrau angegeben, abgesehen von zwei Monaten niemals mit ihrem Ehemann an seiner Wohnanschrift in Wangen gelebt zu haben. Bei dieser Aktennotiz handelt es sich um ein Novum, das im bundesgerichtlichen Verfahren nicht berücksichtigt werden kann (vgl. <ref-ruling> E. 3 S. 395; <ref-ruling> E. 2 S. 343 f.).
3. Gemäss Art. 42 Abs. 1 AuG hat der ausländische Ehegatte eines Schweizers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie zusammenwohnen. Nach Art. 49 AuG brauchen Eheleute nicht zusammenzuwohnen, wenn für getrennte Wohnorte wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiter besteht. Nach Auflösung der Ehe oder der Familiengemeinschaft hat der ausländische Ehegatte gemäss Art. 50 Abs. 1 AuG weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung nach Art. 42 AuG, wenn (lit. a) die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht oder (lit. b) wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen. Die Ansprüche nach Art. 42 AuG erlöschen, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um Vorschriften über die Zulassung und den Aufenthalt zu umgehen (Art. 50 Abs. 1 lit. a AuG).
4. 4.1 Der immer noch mit A._ verheiratete Beschwerdeführer macht sinngemäss eine fehlerhafte Sachverhaltsfeststellung und Beweiswürdigung durch die Vorinstanz geltend. Die eheliche Beziehung werde nach wie vor gelebt. Die Vorinstanz habe seinen Anspruch auf rechtliches Gehör gemäss <ref-law> verletzt, indem sie unter anderem von ihm benannte Zeugen nicht angehört habe. Diese hätten Angaben zum Zusammenleben der Eheleute machen können. Für die Zeiten, in denen sie sich nicht am selben Ort aufgehalten haben, gebe es wichtige Gründe im Sinne von Art. 49 AuG. Selbst wenn von einer definitiven Trennung bzw. einem nicht mehr nach Art. 49 AuG gerechtfertigten Getrenntleben auszugehen wäre, habe er mehr als drei Jahre mit seiner Ehefrau in der Schweiz zusammengelebt. Insoweit seien zumindest die Voraussetzungen des Art. 50 Abs. 1 lit. a AuG erfüllt. Mithin habe er auf jeden Fall einen Anspruch auf weitere Verlängerung seiner Bewilligung nach Art. 42 Abs. 1 AuG.
4.2 Die Vorinstanz ist zum Schluss gelangt, der Beschwerdeführer berufe sich gemäss Art. 51 Abs. 1 lit. a AuG rechtsmissbräuchlich auf die Ehe, da diese nur noch formell bestehe. Zumindest die Ehefrau habe keinen Willen mehr zum Zusammenleben und zur Aufrechterhaltung der ehelichen Gemeinschaft. Nichts deute darauf hin, dass die Eheleute weiterhin eine solche Gemeinschaft bilden.
Die Ehefrau hatte Anfang März 2008 erklärt, es gehe ihr psychisch ganz schlecht, der Beschwerdeführer setze sie unter Druck. Sie wohne seit ein paar Monaten nicht mehr bei ihm, sondern bei ihrer Schwester in Winterthur. Später wurde seitens des Beschwerdeführers angegeben, seine Ehefrau habe für ihre dort lebende Schwester gesorgt, die am 2. Februar 2008 einen Unfall erlitten habe. Deshalb habe sie bei ihr gewohnt. Von April bis November 2009 hielt sich die Ehefrau in Serbien auf. Sie habe dort einen Kuraufenthalt gehabt, da sie an psychischen Problemen leide, häufig müde sei sowie Schwierigkeiten beim Atmen und Gehen habe. Wegen des schönen Wetters habe sie ihren Aufenthalt in Serbien um einen Monat verlängert. Anlässlich einer unangekündigten Kontrolle Anfang März 2010 gab der Beschwerdeführer an, seine Ehefrau befinde sich momentan in Serbien. Eine genaue Adresse konnte er jedoch nicht angeben. Am 31. März bzw. 6. April 2010 erklärte die Ehefrau, sie sei seit Kurzem wieder in der Schweiz, werde demnächst aber mit dem Beschwerdeführer erneut nach Serbien reisen und dort mindestens bis Oktober verweilen, während Letzterer bereits nach rund zwei Wochen in die Schweiz zurückkehren werde. Sie werde in Serbien für diverse Badekuren und einen Aufenthalt in den Bergen bleiben. Sie habe dies schon in den Jahren 2008 und 2009 so gemacht. Im Winter verweile sie dann in der Schweiz. Sie wolle auch zukünftig derart verfahren, solange sie könne. Ende Mai 2010 erklärte sie, sie sei wegen des schlechten Wetters in Serbien einstweilen wieder in die Schweiz zurückgekehrt.
Das Departement des Innern hatte dem Beschwerdeführer unter anderem noch vorgehalten, es sei unglaubwürdig, dass seine psychisch und körperlich angeschlagene Ehefrau in der Lage gewesen sei, sich im Jahre 2008 um ihre Schwerster zu kümmern. Auch sei nicht ersichtlich, in welchem Umfang und Zeitraum Letztere Hilfe gebraucht habe und seine Ehefrau behilflich sein konnte. Die Vorinstanz führte zudem aus, die Betreuung der Schwester stelle keinen wichtigen Grund für eine Trennung im Sinne von Art. 49 AuG dar. Ob Letzteres zutrifft, kann hier offen gelassen werden. Jedenfalls räumt der Beschwerdeführer in seiner Eingabe an das Bundesgericht nun ein, es habe im Jahre 2008 eine eheliche Krise gegeben, die zur Trennung der Eheleute geführt habe. Diese Krise sei jedoch spätestens seit Ende 2008 beendet. Die Trennung, zu der es damals gekommen sei, liege "im Rahmen von Art. 49 AuG im zulässigen Bereich".
4.3 Das Bundesgericht wendet das Recht von Amtes wegen an und kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-law>; <ref-ruling> E. 1.4.1 S. 254). Seinem Urteil legt es aber grundsätzlich den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts durch die Vorinstanz kann gemäss <ref-law> nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Verletzung von schweizerischem Recht im Sinne von <ref-law> beruht. Die Rüge der offensichtlich unrichtigen, d.h. willkürlichen Feststellung des Sachverhalts prüft das Bundesgericht gemäss <ref-law> nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist. In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Die Sachverhaltsfeststellung bzw. Beweiswürdigung ist willkürlich, wenn die Behörde in ihrem Entscheid von Tatsachen ausgeht, die mit der tatsächlichen Situation in klarem Widerspruch stehen oder auf einem offenkundigen Fehler beruhen (vgl. <ref-ruling> E. 1.4.3 S. 254; <ref-ruling> E. 1.3 S. 316; <ref-ruling> E. 4.2.1 S. 362; je mit Hinweisen).
Was der Beschwerdeführer diesbezüglich einwendet, erschöpft sich weitgehend in appellatorischer Kritik am angefochtenen Urteil, die für die Begründung einer willkürlichen Feststellung des Sachverhalts nicht genügt. Er beschränkt sich im Wesentlichen darauf, seine eigene Sichtweise der Verhältnisse darzulegen. Für die Begründung von Willkür im Sinne von <ref-law> genügt es jedoch nicht, dass eine Würdigung der Beweise, wie sie der Beschwerdeführer als richtig ansieht, ebenso in Betracht gezogen werden könnte. Denn Willkür liegt nach ständiger Rechtsprechung nicht schon vor, wenn das angefochtene Urteil nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Lösung oder Würdigung vertretbar erscheint oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid auf einer schlechterdings unhaltbaren oder widersprüchlichen Beweiswürdigung beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (vgl. BGE <ref-ruling> E. 4.2.1 S. 362; Urteil 6B_1043/2010 vom 28. Juni 2011 E. 1.4).
4.4 Aufgrund der willkürfreien Feststellungen der Vorinstanz ist erwiesen, dass die Ehefrau mindestens seit Anfang 2008 den überwiegenden Teil des Jahres nicht mit dem Beschwerdeführer zusammengewohnt hat. Diesbezüglich sind seitens der Eheleute teilweise widersprüchliche Angaben gemacht worden. Sodann wurde anlässlich einer Befragung von Hausbewohnern an der Adresse des Beschwerdeführers im März 2010 angegeben, dass dieser vom Sehen her bekannt sei, niemand jedoch seine Ehefrau wahrgenommen habe. Auf diesen Vorhalt hin hatte der Beschwerdeführer erklärt, dass dies durchaus möglich sei, da sich seine Ehefrau nicht viel zu Hause aufhalte. Wenn es ihr schlecht gehe, reise sie nach Zürich zu ihrem (erwachsenen) Sohn, der aus einer früheren Ehe stammt. Entgegen der Ansicht des Beschwerdeführers dürfen die Beweiserhebungen der Polizei vom März 2010 im ausländerrechtlichen Verfahren verwertet werden, auch wenn der Beschwerdeführer bei der Befragung der Nachbarn nicht zugegen war. Immerhin wurde ihm das Ergebnis der Befragung bekannt gegeben und er konnte sich hiezu äussern. Bei der Sichtung der Wohnung des Beschwerdeführers Anfang März 2010 konnten zudem nur wenige Effekten der Ehefrau aufgefunden werden. Wie die Vorinstanz ausserdem richtig bemerkt, hat sich bereits im Zusammenhang mit einem ersten Nachzugsgesuch vom August 2004, das damals abgelehnt wurde, abgezeichnet, dass die Eheleute nicht zusammen in der Schweiz wohnen wollen. Damals gab die Ehefrau zu verstehen, sie möchte ihren Lebensmittelpunkt in Serbien behalten. Erst als sie später erklärte, sie verlege diesen wieder in die Schweiz, wurde die Einreise des Beschwerdeführers auf ein zweites Gesuch hin bewilligt. In der Folge gab es nachweislich verschiedene längere bzw. mehrmonatige Perioden, während denen die Eheleute nicht zusammenwohnten. Entweder hielt sich die Ehefrau in Zürich bzw. Winterthur bei ihrem Sohn oder ihrer Schwester oder in ihrer früheren Heimat Serbien auf.
Demzufolge ist nicht zu beanstanden, dass die Vorinstanzen davon ausgehen, der Beschwerdeführer lebe nicht - zumindest nicht regelmässig - mit seiner Ehefrau in der Schweiz zusammen. Unerheblich ist insoweit, dass sie nicht mit Bestimmtheit angeben können, wo die Ehefrau im November und Dezember 2008 sowie von Januar bis März 2009 und im Dezember 2009 weilte. Obwohl die Ehefrau nicht arbeitet und IV-Rentnerin ist, hat der Beschwerdeführer selber eingeräumt, sie halte sich nicht viel bei ihm auf. Letztlich lebt sie den überwiegenden Teil des Jahres in Serbien oder bei ihren Familienangehörigen im Raum Zürich.
4.5 Die Familiennachzugsbestimmungen der Art. 42 Abs. 1, 49 und 51 AuG sind nicht dazu bestimmt, dass jeder Ehepartner auf seiner Seite je für sich unabhängig leben kann bzw. das Getrenntleben ohne wichtigen Grund zum Regelfall wird. Vielmehr sind sie darauf ausgerichtet, dass die Eheleute grundsätzlich zusammenwohnen und die eheliche Gemeinschaft auch tatsächlich anhaltend und nicht bloss sporadisch während kurzer Zeit leben. Insofern hat die Vorinstanz unter Bezugnahme auf die soeben erwähnten Bestimmungen zu Recht die Verlängerung der Aufenthaltsbewilligung verweigert. Die dargestellte Lebensgestaltung der Eheleute stellt keinen wichtigen Grund im Sinne von Art. 49 AuG für das Getrenntleben dar (vgl. auch Urteil 2C_288/2011 vom 7. April 2011 E. 2.2.2 mit Hinweis). Das mehrmonatige Getrenntleben war auch nicht ärztlich bedingt. Sofern sich die Ehefrau dafür entscheidet, im Interesse ihres Wohlbefindens den ganz überwiegenden Teil des Jahres in Serbien zu verbringen, kann erwartet werden, dass auch der serbische Beschwerdeführer seinen Lebensmittelpunkt (wieder) entsprechend verlagert. Im Übrigen hatte der Beschwerdeführer im Zusammenhang mit seinen früheren Nachzugsgesuchen erklärt, er wisse, dass seine Ehefrau gesundheitliche Probleme habe; er möchte sich um sie kümmern; sie brauche ihn.
Dem Dargelegten zufolge durfte die Vorinstanz denn auch in antizipierter Beweiswürdigung von der Einvernahme der vom Beschwerdeführer angebotenen Zeugen verzichten. Selbst wenn diese namentlich bezeugt hätten, sie einerseits und der Beschwerdeführer und seine Ehefrau anderseits hätten sich mehrmals gegenseitig besucht, hätte dies nichts daran geändert, dass sich Letztere seit dem Jahr 2008 den überwiegenden Teil der Zeit andernorts als der Beschwerdeführer aufhält, ohne dass hiefür wichtige Gründe vorliegen (s. auch nachfolgende E. 4.6). Dass der Hauswart - gemäss einer vom Beschwerdeführer vorgelegten Erklärung - die Ehefrau des Beschwerdeführers in den Jahren 2009 und 2010 mehrmals gesehen haben will, steht vorstehendem Schluss schliesslich auch nicht entgegen.
4.6 Es ist nurmehr zu prüfen, ob der Beschwerdeführer gestützt auf Art. 50 Abs. 1 AuG einen verselbständigten Anspruch auf Erneuerung der Bewilligung hat. Die Vorinstanz hat einen solchen nach der Variante der Litera b (wichtige persönliche Gründe) verneint. Der Beschwerdeführer rügt das nicht, weshalb hierauf nicht weiter einzugehen ist (vgl. <ref-law>; <ref-ruling> E. 1.4.1 S. 254). Er hält jedoch dafür, dass ihm der weitere Aufenthalt nach Art. 50 Abs. 1 lit. a AuG zu bewilligen sei, weil die Ehegemeinschaft mindestens drei Jahre bestanden habe.
Wie die Vorinstanz richtig bemerkt, muss die mindestens dreijährige Ehegemeinschaft in der Schweiz geführt worden sein (vgl. <ref-ruling> E. 3.3 S. 117 ff.). Mithin kommt erst die Zeit des ehelichen Zusammenlebens ab der Einreise des Beschwerdeführers am 14. August 2005 in Betracht. Wie erwähnt, hat die Vorinstanz willkürfrei festgestellt, dass das Zusammenleben spätestens Anfang 2008 endete und die Ehegemeinschaft in der Schweiz deshalb keine drei Jahre gedauert hat. Die vom Beschwerdeführer letztlich eingeräumte Ehekrise im Jahre 2008 stellt keinen wichtigen Grund für eine Trennung im Sinne von Art. 49 AuG dar, der es rechtfertigen würde, auch diese Zeit zu berücksichtigen (vgl. BGE 2C_784/2010 vom 26. Mai 2011 E. 3.1.2). Zwar können gemäss Art. 76 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) erhebliche familiäre Probleme einen solchen Grund bilden, sofern sie vorübergehender Natur sind. Blosse Unstimmigkeiten zwischen den Eheleuten, wie sie hier im Zusammenhang mit dem beantragten Nachzug eines Kindes des Beschwerdeführers aus einer ersten Ehe geltend gemacht werden, genügen jedenfalls nicht für ein längeres Getrenntleben.
Die angeblichen späteren gemeinsamen Aufenthalte in der Schweiz sind schon deshalb nicht hinzuzurechnen, weil sie bloss sporadisch nach monatelanger Trennung stattfanden und von kurzer Dauer waren; die ernsthafte Führung eines Ehelebens in der Schweiz war insoweit nicht mehr beabsichtigt.
5. 5.1 Damit ist die Aufenthaltsbewilligung des Beschwerdeführers nicht nach Art. 42, 49 und 50 AuG zu verlängern. Deshalb erweist sich die Beschwerde als unbegründet und ist abzuweisen.
5.2 Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 21. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz