Sachverhalt:
A. Der kosovarische Staatsangehörige X._ (geb. 1979) heiratete am 2. November 2004 in der damaligen Provinz Kosovo von Serbien-Montenegro die Schweizer Staatsangehörige Y._ (geb. 1981). Am 9. November 2005 reiste X._ in die Schweiz ein, worauf ihm am 28. November 2005 die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erteilte wurde. Fortan lebte er zusammen mit seiner Ehefrau. Am 20. Oktober 2008 trennte sich Y._ von ihrem Mann und bezog eine eigene Wohnung.
B. In der Folge verweigerte das Departement des Inneren des Kantons Solothurn, Abteilung Migration und Schweizer Ausweise, die Verlängerung der Aufenthaltsbewilligung von X._ und ordnete mit Verfügung vom 3. November 2010 seine Wegweisung an. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 28. Januar 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. März 2011 an das Bundesgericht beantragt X._, der Entscheid des Verwaltungsgerichts vom 28. Januar 2011 und die erstinzanzliche Verfügung vom 3. November 2010 des Departements des Inneren des Kantons Solothurn, Abteilung Migration und Schweizer Ausweise, seien aufzuheben und es sei ihm die Niederlassungsbewilligung zu erteilen. Eventualiter beantragt er die Verlängerung der Aufenthaltsbewilligung sowie ein Verbot seiner Wegweisung. Subeventualiter beantragt X._ die Vornahme weiterer Sachabklärungen.
Das Departement des Inneren, Abteilung Migration und Schweizer Ausweise, und das Verwaltungsgericht des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vernehmlassung des Bundesamts für Migration wurde erst nach Fristablauf der Schweizerischen Post aufgegeben.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 9. März 2011 antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen. Der Beschwerdeführer beruft sich einerseits auf Art. 42 AuG, wonach ihm als Ehegatten einer angeblich weiterhin bestehenden Ehe ein Anspruch auf Aufenthaltsbewilligung bzw. Niederlassungsbewilligung zustehen soll, und andererseits auf Art. 50 Abs. 1 AuG, wonach unter bestimmten Voraussetzungen ein solcher Anspruch selbst dann weiter bestünde, wenn die Ehegemeinschaft als solche aufgelöst wäre. Der Beschwerdeführer ist formell noch immer mit einer Schweizerin verheiratet und hat auf dieser Grundlage eine Aufenthaltsbewilligung nach Art. 42 AuG erhalten. Ob die Voraussetzungen von Art. 42 bzw. Art. 50 AuG (weiterhin) erfüllt sind, ist - abgesehen von offensichtlichen Fällen - eine Frage der materiellen Prüfung. Für das Eintreten auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten genügt, dass im Rahmen von Art. 42 ff. AuG potentiell ein Anspruch besteht (vgl. <ref-ruling> E. 1.1 S. 179). Die Beschwerde ist fristgerecht gegen einen kantonal letztinstanzlichen Endentscheid (Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG) eingereicht worden (<ref-law>), und der Beschwerdeführer ist nach <ref-law> zur Beschwerde legitimiert.
1.2 Unzulässig ist der Antrag des Beschwerdeführers, auch den Departementalentscheid vom 3. November 2010 aufzuheben. Dieser ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis). Unzulässig ist zudem der Antrag, es sei dem Beschwerdeführer die Niederlassungsbewilligung zu erteilen; der Streitgegenstand ist auf die Verweigerung der Aufenthaltsbewilligung beschränkt.
1.3 Als verspätet aus dem Recht zu weisen ist die Vernehmlassung des Bundesamts für Migration.
2. 2.1 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). In der Begründung muss allerdings in gedrängter Form dargelegt werden, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Insbesondere wird die Verletzung von Grundrechten vom Bundesgericht nur geprüft, wenn in der Beschwerde eine entsprechende Rüge vorgebracht und begründet wird (<ref-law>).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie ihn die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, wenn er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>). Der Betroffene muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt klar und eindeutig mangelhaft erscheint (Art. 42 Abs. 2 und <ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 255). Auf rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.). Der Beschwerdeführer hat in Auseinandersetzung mit der Begründung im angefochtenen Entscheid im Einzelnen darzutun, inwiefern die Sachverhaltsfeststellung oder die Beweiswürdigung offensichtlich unhaltbar und damit willkürlich ist.
3. 3.1 Der Beschwerdeführer behauptet zunächst, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig und zu seinen Ungunsten festgestellt und die Begründungspflicht verletzt, weshalb sein Anspruch auf rechtliches Gehörs gemäss <ref-law> verletzt sei. Insbesondere sei die Vorinstanz auf seine Argumente ungenügend eingegangen bzw. habe eine schriftliche Stellungnahme seiner Ehefrau in unhaltbarer Weise ausgelegt. Auch seien angebotene Beweismittel (z.B. erneute Befragung der Ehefrau im kantonalen Beschwerdeverfahren) nicht abgenommen worden. Aufgrund dieser antizipierten sowie aktenwidrigen Beweiswürdigung sei das Verwaltungsgericht in Willkür verfallen, weshalb die Sache an die Vorinstanz zur weiteren Abklärung des Sachverhaltes zurückzuweisen sei.
3.2 Aus dem Anspruch auf rechtliches Gehör (<ref-law>) folgt unter anderem die grundsätzliche Pflicht der Behörden, ihren Entscheid zu begründen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Die Begründung muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt. Nicht erforderlich ist hingegen, dass sich der Entscheid mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 3.3 S. 445 mit Hinweisen).
Diesen Anforderungen wird der Entscheid der Vorinstanz gerecht, indem er sich mit den verschiedenen Stellungnahmen der Eheleute gebührend auseinandergesetzt und diese gewürdigt hat. Der Beschwerdeführer beschränkt sich dagegen im Wesentlichen darauf, seine Sicht der Dinge zu wiederholen. Auch ist nicht ersichtlich, dass die tatsächlichen Feststellungen des Verwaltungsgerichts offenkundig falsch oder lückenhaft wären. Vielmehr stellte die Vorinstanz auf die ihr vorliegenden Unterlagen ab, welche umfassend genug und geeignet sind, um ihre Feststellungen zu untermauern.
Ebenfalls nicht zu beanstanden ist, dass die Ehefrau des Beschwerdeführers von der Vorinstanz nicht mündlich angehört wurde. Zwar umfasst der in <ref-law> gewährleistete Anspruch auf rechtliches Gehör u.a. auch das Recht der Betroffenen, mit erheblichen Beweisanträgen gehört zu werden. Jedoch ist dieser Anspruch nicht verletzt, wenn ein Gericht deshalb auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener (antizipierter) Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3 S. 148 mit Hinweisen). Diese Voraussetzungen waren vorliegend ohne Weiteres erfüllt (vgl. auch E. 4 hiernach), weshalb von einer Gehörsverletzung nicht die Rede sein kann.
3.3 Die Kritik am angefochtenen Entscheid erweist sich somit als appellatorisch, weshalb weder auf die Rüge der falschen bzw. unrichtigen Sachverhaltsermittlung noch auf die Verletzung des rechtlichen Gehörs näher einzugehen ist.
4. 4.1 Gemäss Art. 42 Abs. 1 AuG haben unter anderem ausländische Ehegatten von Schweizerinnen und Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Sobald es an der Bedingung des Zusammenwohnens fehlt, erlischt in aller Regel das Aufenthaltsrecht (Urteil 2C_635/2009 vom 26. März 2010 E. 4.3). Ausnahmen hiervon sind gemäss Art. 49 AuG nur möglich, wenn für die getrennten Wohnorte wichtige Gründe geltend gemacht werden können und die Familiengemeinschaft weiter besteht. Wichtige Gründe müssen objektivierbar sein und eine gewisse Erheblichkeit aufweisen (vgl. Urteil 2C_544/ 2010 vom 23. Dezember 2010 E. 2.3.1). Insbesondere stellt nicht jede Trennung von Eheleuten bereits eine Ausnahmesituation nach dieser Bestimmung dar. Vielmehr muss es sich um eine besondere Konstellation handeln, bei welcher die Trennung wegen "beruflichen Verpflichtungen" bzw. wegen "erheblicher familiärer Probleme" erfolgte (vgl. den Wortlaut von Art. 76 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]). Zu letzterem gehören namentlich Fälle häuslicher Gewalt, welche eine vorübergehende Unterbringung des Opfers in einem Frauenhaus oder an einem anderen Ort erfordern (vgl. Urteil 2C_635/2009 vom 26. März 2010 E. 4.4 mit Hinweisen auf die Entstehungsgeschichte von Art. 49 AuG).
4.2 Es ist unbestritten, dass der Beschwerdeführer seit dem 20. Oktober 2008 nicht mehr mit seiner Ehefrau zusammenwohnt. Die Vorinstanz hat dem Beschwerdeführer in der Folge die Aufenthaltsbewilligung vor allem deshalb versagt, weil er seither von seiner Ehefrau getrennt lebe bzw. weil die Familiengemeinschaft nicht mehr bestehe.
Der Beschwerdeführer macht demgegenüber wichtige Gründe i.S. von Art. 49 AuG für das Getrenntleben geltend. Ausserdem sei die eheliche Gemeinschaft auch während des Getrenntlebens fortgesetzt worden. Nach seinem Umzug in die Schweiz sei er zunächst stark von seiner Ehefrau abhängig gewesen, weshalb sich ihre Gefühle vorübergehend verändert hätten. Um einer Eskalation des ehelichen Konflikts vorzubeugen, hätten sie sich freiwillig getrennt und die moderne Eheform des "living apart together" gewählt. Jedoch substanziieren weder der Beschwerdeführer noch seine Ehefrau die Art und Intensität der ehelichen Konflikte. Dabei läge es an ihnen, im Rahmen ihrer Mitwirkungspflicht gemäss Art. 90 AuG darzulegen, dass die behaupteten familiären Probleme "erheblich" i.S. von Art. 49 AuG bzw. <ref-law> waren. Dies gilt umso mehr, als der Beschwerdeführer bereits seit zwei Jahren getrennt von seiner Ehefrau lebt, so dass eine Vermutung für die Auflösung der Ehegemeinschaft spricht (vgl. Urteil 2C_575/2009 vom 1. Juni 2010 E. 3.5). Zu berücksichtigen ist in diesem Zusammenhang auch die unwidersprochen gebliebene Aussage der Ehefrau in ihrer Stellungnahme vom 7. Dezember 2009, dass es nie zu einem Fall von häuslicher Gewalt gekommen sei. Des weiteren machen weder der Beschwerdeführer noch seine Ehefrau berufliche Gründe für das Getrenntleben geltend. Zu beachten ist überdies, dass der Beschwerdeführer selber die eheliche Situation als mittlerweile weitgehend entspannt darstellt. Damit verliert aber der vorgebrachte Trennungsgrund weiter an Gewicht, weshalb eine Berufung auf den Ausnahmetatbestand von Art. 49 AuG umso weniger in Betracht kommt. Hervorzuheben ist zudem, dass entgegen der vom Beschwerdeführer geäusserten Ansicht der freiwillige Entscheid für ein "living apart together" für sich allein genommen keinen wichtigen Grund i.S. von Art. 49 AuG darstellt (vgl. Urteil 2C_388/2009 vom 9. Dezember 2009 E. 4). Die Vorinstanz stellt schliesslich - in für das Bundesgericht verbindlicher Weise (vgl. E. 2.2 hiervor) - fest, die Ehefrau zeige auch im Urteilszeitpunkt keine Bestrebungen, die eheliche Beziehung wieder zu intensivieren und mit dem Beschwerdeführer erneut eine Wohngemeinschaft zu begründen. Folglich kann kaum mehr von einer "vorübergehenden Trennung" gesprochen werden, wie dies <ref-law> ausdrücklich vorschreibt.
Gesamthaft betrachtet kann der Beschwerdeführer damit keine wichtigen Gründe für das Getrenntleben vorbringen, weshalb der Anspruch auf Verlängerung der Aufenthaltsbewilligung gestützt auf Art. 42 in Verbindung mit Art. 49 AuG entfällt. Bei dieser Sachlage kann die Frage offen bleiben, wie es sich mit der zweiten Voraussetzung - dem Weiterbestehen der Familiengemeinschaft - verhält.
5. 5.1 Nach Art. 50 Abs. 1 AuG besteht unter anderem der Anspruch des Ehegatten auf Erteilung und Verlängerung der Aufenthaltsbewilligung gemäss Art. 42 AuG weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration vorliegt (lit. a) oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b). Der Beschwerdeführer beruft sich zudem auf Art. 50 Abs. 1 lit. a AuG und macht geltend, selbst wenn heute von einer gescheiterten Ehe ausgegangen werde, habe die Ehegemeinschaft länger als drei Jahre gedauert; zudem sei er in der Schweiz gut integriert, weshalb ihm die Aufenthaltsbewilligung zu verlängern bzw. die Niederlassungsbewilligung zu erteilen sei.
5.2 Für die Berechnung der Jahresfrist ist vor allem auf die Dauer der nach aussen wahrnehmbaren ehelichen Wohngemeinschaft abzustellen (Urteil 2C_544/2010 vom 23. Dezember 2010 E. 2.2), wobei einzig das Zusammenleben im Inland massgeblich ist (<ref-ruling> E. 3.3 S. 117 ff. mit Hinweisen). Der Beschwerdeführer lebte gemäss unwidersprochen gebliebener Feststellung der Vorinstanz vom 9. November 2005 bis am 20. Oktober 2008 in der Schweiz mit seiner Ehefrau zusammen. Die Ehegemeinschaft dauerte damit - wenn auch knapp - weniger als die erforderlichen drei Jahre. Ein Anspruch gestützt auf Art. 50 Abs. 1 lit. a AuG scheidet folglich - unabhängig vom Erfolg oder Grad seiner Integration - aus, gilt doch die Grenze von drei Jahren absolut: Selbst wenn sie nur um wenige Wochen oder Tage verpasst wird, besteht kein Anspruch auf Verlängerung der Bewilligung (Urteil 2C_781/2010 vom 16. Februar 2011 E. 2.1.3). Dass die Ehe formell noch weiter Bestand hatte, ist in diesem Zusammenhang nicht von Bedeutung (<ref-ruling> E. 3.2 S. 117). Für das Getrenntleben bestanden zu keinem Zeitpunkt wichtige Gründe im Sinne von Art. 49 AuG (vgl. E. 4 hiervor; zum Verhältnis von Art. 49 und 50 AuG vgl. Urteil 2C_781/ 2010 vom 16. Februar 2011 E. 2.1.3). Daraus folgt, dass - rückblickend betrachtet - bereits ab dem ersten Tag des Getrenntlebens vom definitiven Scheitern der Ehe des Beschwerdeführers auszugehen war. Deshalb kommt eine Anrechnung entsprechender Zeiten des Getrenntlebens auf die Mindestdauer von Art. 50 Abs. 1 lit. a AuG nicht in Betracht (Urteil 2C_647/2010 vom 10. Februar 2011 E. 3.3). Bei dieser Sachlage kann die Frage offen bleiben, ob der Beschwerdeführer erfolgreich integriert ist (Art. 50 Abs. 1 lit. a zweiter Halbsatz AuG).
5.3 Im Übrigen macht der Beschwerdeführer vor Bundesgericht nicht mehr geltend, die Voraussetzungen von Art. 50 Abs. 1 lit. b AuG seien erfüllt, weshalb darauf nicht einzugehen ist.
6. Schliesslich wäre der Antrag des Beschwerdeführers, von der Wegweisung abzusehen, nur im Rahmen einer subsidiären Verfassungsbeschwerde zulässig (vgl. <ref-law>). Er macht diesbezüglich jedoch keine geeigneten Rügen geltend (vgl. <ref-law>), die nicht bereits im Rahmen der Überprüfung der Verweigerung der Aufenthaltsbewilligung zu beurteilen waren, so dass auf diesen Antrag nicht einzutreten ist. Im Übrigen ist nichts ersichtlich, das der Wegweisung entgegenstünde. Diese ist die konsequente Folge der Nichtverlängerung der Aufenthaltsbewilligung (Art. 64 Abs. 1 lit. c AuG).
7. Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Departement des Innern und dem Verwaltungsgericht des Kantons Solothurn sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger