Sachverhalt:
A. Der am 20. Juni 1977 in Veles, ehemals Jugoslawien, geborene X._ ist mazedonischer Staatsangehöriger. Er wuchs in seinem Heimatland auf, obwohl seine Mutter 1992 in die Schweiz übergesiedelt war. Die von ihr beantragte Einreise- und Aufenthaltsbewilligung für ihre Kinder wurde 1995 abgewiesen. X._ heiratete 1999 eine Landsfrau und zeugte mir ihr drei Kinder. 2003 liess er sich scheiden.
Am 13. September 2003 heiratete er in Cazin, Bosnien-Herzegowina, die zwanzig Jahre ältere Bosnierin Y._. Diese hat seit dem Jahre 1991 eine Niederlassungsbewilligung in der Schweiz. Das von ihr gestellte Nachzugsgesuch für ihren Ehemann wies das Ausländeramt des Kantons St. Gallen zunächst wegen ungenügenden finanziellen Mitteln (nur IV-Rente und Ergänzungsleistungen sowie rund 60 Verlustscheine) ab. Nachdem X._ eine Anstellung als Serviceangestellter vorweisen konnte, bewilligte das Ausländeramt am 17. August 2004 den Nachzug. Er reiste am 2. September 2004 in die Schweiz ein. Seine Aufenthaltsbewilligung wurde letztmals bis 1. September 2008 verlängert.
Nach Erhebungen der Kantonspolizei (1. April 2008) und einem von der Ehefrau eingeleiteten, danach zufolge Vereinbarung wieder abgeschriebenen (28. Mai 2008) Eheschutzmassnahmenverfahren wurde das Ehepaar am 30. Mai 2008 zum Verdacht der Scheinehe befragt. Mit Verfügung vom 5. November 2008 verlängerte das Ausländeramt die Aufenthaltsbewilligung nicht mehr. Dagegen hat X._ erfolglos beim Sicherheits- und Justizdepartement des Kantons St. Gallen Beschwerde geführt. Dessen ablehnenden Entscheid hat das Verwaltungsgericht bestätigt.
B. Vor Bundesgericht beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 16. September 2010 aufzuheben, die Aufenthaltsbewilligung zu verlängern, von einer Wegweisung abzusehen, eventuell die Angelegenheit zur Neubeurteilung an die Vorinstanzen zurückzuweisen sowie der Beschwerde die aufschiebende Wirkung zu erteilen. Begründet wurden die Begehren mit einer unrichtigen Sachverhaltsfeststellung, einer willkürlichen Beweiswürdigung sowie einer Verletzung des rechtlichen Gehörs.
C. Das Verwaltungsgericht und das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration beantragen, die Beschwerde abzuweisen.
D. Mit Verfügung vom 1. November 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Nach Art. 83 lit. c BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten u.a. unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt (Ziff. 2). Der ausländische Beschwerdeführer, dessen Ehefrau eine Niederlassungsbewilligung besitzt, hat gestützt auf Art. 43 des Bundesgesetzes über die Ausländerinnen und Ausländer (AuG) vom 16. Dezember 2005 (SR 142.20) Anspruch auf Aufenthaltsbewilligung. Der Beschwerdeführer beruft sich hierauf und macht geltend, die Voraussetzungen seien erfüllt. Ob dies zutrifft, ist - abgesehen von offensichtlichen Fällen - eine Frage der materiellen Prüfung. Für das Eintreten auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten genügt, dass im Rahmen von Art. 42 ff. AuG potentiell ein Anspruch besteht (BGE 136 II 177 E. 1.1 S. 179). Die Beschwerde ist fristgerecht gegen einen kantonal letztinstanzlichen Entscheid (Art. 86 Abs. 1 lit. d und Abs. 2 BGG) eingereicht worden (Art. 100 BGG), und der Beschwerdeführer ist nach Art. 89 BGG zur Beschwerde legitimiert.
1.2 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Offensichtlich unrichtig ist eine Sachverhaltsermittlung nicht schon dann, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (BGE 133 II 249 E. 1.2.2 und E. 1.4.3 i.f. S. 252 bzw. 255; 132 I 42 E. 3.1 i.f. S. 44). Für die Sachverhaltsrügen gelten strenge Anforderungen (BGE 134 II 244 E. 2.2 S. 246; 133 II 249 E. 1.4.3 S. 255): In Bezug auf Art. 97 Abs. 1 BGG ist in der Beschwerdeschrift darzulegen, inwiefern die Sachverhaltsfeststellung willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen ist. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 135 II 313 E. 5.2.2 S. 322; 133 II 249 E. 1.4.3 S. 255).
Dem Sachgericht steht zudem im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu. Das Bundesgericht greift auf Beschwerde hin nur ein, wenn dieses sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. BGE 129 I 8 E. 2.1 S.9).
2. 2.1 Nach Auffassung des Beschwerdeführers soll die Vorinstanz das rechtliche Gehör verletzt haben. Wenige Tage nach der Einstellung des Eheschutzverfahrens seien er und seine Ehefrau einvernommen worden, weshalb er davon ausgegangen sei, dass die Befragung im Zusammenhang mit diesem stünde. Er sei in diesem Glauben gelassen worden. Angesichts des Umstands, dass dieses abgeschlossen gewesen sei, habe er auf zahlreiche Fragen eine Antwort verweigert. Die Erteilung des rechtlichen Gehörs zum Befragungsprotokoll wäre unabhängig von der Relevanz der Erkenntnisse geboten gewesen.
2.2 Diese Äusserungen erfolgen wider besseres Wissens: Wie sich aus dem Befragungsprotokoll vom 30. Mai 2008 ergibt, hat die Polizeibeamtin bereits während der Befragung klargestellt, dass die Fragen nicht für das Kreisgericht, sondern im Auftrag des Ausländeramtes gestellt würden. Gleichzeitig hat sie dem Beschwerdeführer mitgeteilt, dass das Nichtbeantworten der Fragen für das weitere ausländerrechtliche Verfahren negative Konsequenzen haben könnte. Da ein Dolmetscher dies dem Beschwerdeführer übersetzt hatte, kann ohne Weiteres davon ausgegangen werden, dass diesem klar sein musste, um was es bei der Befragung ging. Ferner wurde dem Beschwerdeführer am Ende der Befragung die Möglichkeit geboten, Ergänzungen und Berichtigungen anzubringen, und mit Schreiben vom 16. September 2008 wurde ihm das rechtliche Gehör gewährt, das dieser auch wahrnahm.
3. 3.1 Nach Art. 43 Abs. 1 AuG haben ausländische Ehegatten von Personen mit Niederlassungsbewilligung Anspruch auf Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesem zusammenwohnen. Dieser Anspruch erlischt nach Art. 51 Abs. 2 lit. a AuG, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um Vorschriften dieses Gesetzes und seiner Ausführungsbestimmungen über die Zulassung und den Aufenthalt zu umgehen. Davon werden Scheinehen erfasst (vgl. BGE 130 II 113 E. 4.2 S. 117).
Ob eine Scheinehe geschlossen wurde, entzieht sich oft einem direkten Beweis und ist bloss durch Indizien (zu solchen vgl. BGE 128 II 145 E. 3.1 S. 152 f.; 122 II 289 E. 2b S. 295) zu erstellen (BGE 130 II 113 E. 10.2 und 10.3 S. 135 f. mit Hinweis). Feststellungen des kantonalen Richters über das Bestehen von solchen Hinweisen sind tatsächlicher Natur und binden grundsätzlich das Bundesgericht (dazu oben E. 1.2).
3.2 Die Vorinstanz hat den Anspruch auf Verlängerung der Aufenthaltsbewilligung nach Art. 43 AuG gestützt auf Art. 51 AuG verneint und dem Beschwerdeführer vorgehalten, dass er eine Scheinehe eingegangen sei. Sie hat sich dabei auf zahlreiche Indizien, welche für das Bundesgericht grundsätzlich verbindlich sind (vgl. E. 1.2), gestützt. Die Eheleute mit einem Altersunterschied von 20 Jahren haben nur während kurzer Zeit in der gleichen Wohnung tatsächlich zusammengewohnt: So waren die zahlreichen Mietverträge nur auf den Namen der Ehefrau ausgestellt, und persönliche Gegenstände des Beschwerdeführers wurden bei einem polizeilichen Augenschein in der Wohnung keine gefunden. Auch hat der Eheschutzrichter anlässlich der Einstellung des Eheschutzverfahrens festgehalten, dass die Wohnsituation eher unklar erscheine. Zudem hat der Beschwerdeführer selber ausgeführt, dass er bei seiner Schwester wohne. Das Zusammenwohnen in Flawil während des ausländerrechtlichen Verfahrens musste deshalb als Versuch gewertet werden, einen falschen Anschein bei den Behörden zu erwecken. Gründe für Ausnahmen vom Erfordernis des Zusammenwohnens (Art. 49 AuG) waren nicht gegeben. Die Eheleute haben sodann keinerlei Interesse für einander gezeigt (z.B. keine Kenntnis des Geburtsdatums, der Vorlieben, keine gemeinsamen Ferien) sowie kaum Wissen vom vergangenen und gegenwärtigen Leben des andern und der jeweiligen Verwandten (z.B. Namen der Schwester und Kinder) gehabt. Selbst das gegenseitige Kennenlernen und die Hochzeit hat bei beiden keinen bleibenden Eindruck hinterlassen; beide hatten diametral entgegengesetzte Erinnerungen (am Hochzeitstag war schönes bzw. schlechtes Wetter; das Hochzeitskleid war schwarz bzw. weiss).
3.3 Der Beschwerdeführer rügt, dass der Sachverhalt offensichtlich unrichtig festgestellt und die Beweise willkürlich gewürdigt worden seien.
Eine Sachverhaltsermittlung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (oben E. 1.2). Die vom Beschwerdeführer zur Entkräftung der Indizien vorgebrachten Argumente, welche von ihm teilweise bereits im vorinstanzlichen Verfahren vorgebracht und von der Vorinstanz einlässlich als nicht stichhaltig verworfen worden waren, erschöpfen sich im Wesentlichen in der Darstellung des Sachverhalts aus seiner Sicht. Dies genügt indessen nicht, die sorgfältigen und ausführlichen Darstellungen und Beweiswürdigungen der Vorinstanz als unhaltbar erscheinen zu lassen.
Nach der im AuG ausdrücklich vorgesehenen Mitwirkungspflicht (Art. 90 AuG) wäre es - entgegen der Auffassung des Beschwerdeführers - vor allem an ihm gelegen, die notwendigen Beweise zur Erstellung des bzw. zur Korrektur des vermeintlich offensichtlich unrichtigen Sachverhalts beizubringen, wie etwa die verschiedenen Mietverträge, bei welchen er ebenfalls als Mieter aufgeführt ist, oder Hochzeitsphotos. Hinzu kommt, dass er bei seiner Befragung im ausländerrechtlichen Verfahren statt zu seinen Gunsten Antworten zu geben, diese verweigert und keine Ergänzungen oder Berichtigungen vorgenommen hatte.
An diesem Resultat ändert auch die vom Beschwerdeführer hervorgehobene Ehedauer von sieben Jahren nichts. Die Gewährung eines Anspruchs setzt eine tatsächlich gelebte eheliche Beziehung und einen entsprechenden Ehewillen voraus. Wie erwähnt wohnten die Ehepartner während der überwiegenden Zeit zum einen nicht zusammen und konnten auch nicht berechtigterweise davon absehen (Art. 49 AuG); zum andern fehlt es vorliegend vor allem am Ehewillen.
3.4 Die Sachverhaltsermittlung einschliesslich der Beweiswürdigung der Vorinstanz ist somit nicht offensichtlich unrichtig, und die Vorinstanz durfte aufgrund der Indizien ohne Weiteres auf eine Scheinehe schliessen. Der Entscheid verletzt insoweit weder Art. 43 Abs. 1 noch Art. 51 Abs. 2 AuG.
4. Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 1 und 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. April 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass