Erwägungen:
1. 1.1 Der indische Staatsangehörige X._ (geb. 1983) heiratete im Juni 2004 in seiner Heimat die Schweizer Bürgerin Y._ (geb. 1971). Am 14. Januar 2005 reiste er in die Schweiz ein und erhielt in der Folge eine Jahresaufenthaltsbewilligung im Rahmen des Familiennachzugs für den Kanton St. Gallen. Mit Verfügung vom 8. Mai 2008 wies das kantonale Ausländeramt St. Gallen das Gesuch von X._ vom 15. November 2007 um Verlängerung seiner Aufenthaltsbewilligung ab. Zur Begründung führte es aus, X._ sei eine Scheinehe eingegangen; im Übrigen erweise sich das Festhalten an der nur (noch) formal bestehenden Ehe als rechtsmissbräuchlich. Die von X._ dagegen im Kanton erhobenen Rechtsmittel blieben erfolglos.
1.2 Mit als Beschwerde in öffentlich-rechtlichen Angelegenheiten und staatsrechtlicher Beschwerde bezeichneter Eingabe vom 9. Dezember 2008 beantragt X._ dem Bundesgericht, das in dieser Sache zuletzt ergangene Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 5. November 2008 aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern. Eventualiter sei die Sache an die Vorinstanz zur erneuten Beurteilung zurückzuweisen.
Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration beantragen Abweisung der Beschwerde. Das kantonale Ausländeramt hat sich nicht vernehmen lassen.
1.3 Der Präsident der II. öffentlich-rechtlichen Abteilung hat der Beschwerde mit Verfügung vom 15. Dezember 2008 antragsgemäss die aufschiebende Wirkung zuerkannt.
2. 2.1 Gemäss Art. 126 Abs. 1 AuG (SR 142.20) ist vorliegend noch das bis zum 31. Dezember 2007 geltende materielle Ausländerrecht anzuwenden, weil das Gesuch um Verlängerung der Aufenthaltsbewilligung vor diesem Datum eingereicht worden ist (vgl. auch Art. 128 AuG und AS 2007 5489). Da die Ehe mit der Schweizer Bürgerin zumindest formell noch besteht, kann sich der Beschwerdeführer grundsätzlich auf einen Bewilligungsanspruch nach Art. 7 Abs. 1 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121, in der Fassung vom 23. März 1990, AS 1991 1034 1043) berufen. Deshalb ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (vgl. <ref-law>; <ref-ruling> E. 1.1.2 und 1.1.5 S. 148 ff.). Auf den Schutz des Familienlebens nach Art. 8 EMRK kann sich der Beschwerdeführer vor Bundesgericht allerdings nicht berufen, nachdem er - auch seinen eigenen Angaben zufolge - inzwischen von seiner Ehefrau getrennt lebt (vgl. <ref-ruling> E. 2a S. 427 mit Hinweisen).
2.2 Auf die "staatsrechtliche Beschwerde", die es als solche noch unter dem bis zum 31. Dezember 2006 geltenden Bundesrechtspflegegesetz (OG; BS 3 531) gab, die im Bundesgerichtsgesetz jedoch nicht mehr vorgesehen ist und mit welcher der Beschwerdeführer daher nur die subsidiäre Verfassungsbeschwerde gemeint haben kann, ist wegen ihrer Subsidiarität nicht einzutreten (vgl. <ref-law>).
3. 3.1 Kein Anspruch auf eine Aufenthaltsbewilligung besteht, wenn die Ehe zur Umgehung fremdenpolizeilicher Schranken geschlossen wurde (Scheinehe bzw. Ausländerrechtsehe, Art. 7 Abs. 2 ANAG, dazu ausführlich <ref-ruling> E. 2.1 S. 151; <ref-ruling> E. 4 und 5 S. 55 ff.). Sämtliche Vorinstanzen gehen davon aus, dass der Beschwerdeführer eine Ausländerrechtsehe geschlossen hat. Hierzu stützen sie sich auf mehrere Indizien.
3.2 Der Beschwerdeführer rügt, es sei zu einer einseitigen Gewichtung der Aussagen gekommen, was willkürlich sei (<ref-law>). Die Vorinstanz habe auf die Aussagen seiner Ehefrau abgestellt und seine eigenen Ausführungen vollumfänglich als unglaubwürdig bezeichnet. Die von ihm angerufenen Zeugen seien von keiner der Vorinstanzen vernommen worden, womit das rechtliche Gehör verletzt worden sei (<ref-law>).
3.3 Das Verwaltungsgericht stellt ausführlich dar, warum auf die persönliche Einvernahme der Zeugen verzichtet werden konnte. Unter anderem sei die Ehefrau zu Beginn der Ehe durchaus davon ausgegangen, der Beschwerdeführer wolle mit ihr eine Lebensgemeinschaft eingehen. Daher sei es naheliegend, dass sie - wie von den Zeugen in ihren schriftlichen Erklärungen, die der Beschwerdeführer dem Ausländeramt vorgelegt hatte, bestätigt - sich zunächst öfters am Arbeits- und Wohnort des Ehemannes im Kanton Graubünden aufhielt und sie dort von Drittpersonen als Ehepaar wahrgenommen werden konnten. Der Beschwerdeführer legt nicht näher dar, wozu sich die als Zeugen benannten Personen insoweit zusätzlich hätten äussern können bzw. warum der Verzicht auf ihre Vernehmung willkürlich sein soll. Somit ist eine Verletzung des Anspruchs auf rechtliches Gehör nicht ersichtlich (vgl. <ref-ruling> E. 3 S. 157; Urteil 5A_64/2008 vom 14. Oktober 2008 E. 4.4).
3.4 Auch im Übrigen erschöpft sich der Beschwerdeführer weitgehend in appellatorischer Kritik. Er begnügt sich, die tatbestandlichen Feststellungen der Vorinstanz bloss zu bestreiten. In der Beschwerde an das Bundesgericht muss sich der Beschwerdeführer indes substantiiert mit der Begründung im angefochtenen Entscheid auseinandersetzen. Will er die Feststellung des Sachverhalts rügen, muss er unter anderem darlegen, dass diese offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (vgl. Art. 42 Abs. 2 und Art. 97 Abs. 1 BGG; <ref-ruling> E. 2.2 S. 41; <ref-ruling> E. 1.3-1.5 S. 67 f.; <ref-ruling> E. 6.2 S. 288). Es reicht nicht aus - wie es der Beschwerdeführer tut -, ohne nähere Ausführungen zu behaupten, das Aussageverhalten der Ehefrau sei unglaubwürdig, sie habe nachweislich und wiederholt die Unwahrheit gesagt. Wie schon die Vorinstanz dem Beschwerdeführer vorgeworfen hat, genügt zur Beschwerdebegründung auch nicht der pauschale Verweis auf frühere Rechtsschriften und nicht näher bezeichnete Schreiben (Urteil 5A_539/2007 vom 4. Januar 2008 E. 3.1 mit Hinweisen, in: Pra 2008 Nr. 77 S. 517).
Wohl erhebt der Beschwerdeführer eine auf den ersten Blick substantiierte Kritik, um zu veranschaulichen, warum die Aussagen seiner Ehefrau unglaubwürdig sein sollen: Die Ehefrau habe widersprüchliche Angaben zum Ort des Kennenlernens gemacht. Der Beschwerdeführer befasst sich dabei jedoch nicht mit dem in nachvollziehbarer Weise gezogenen Schluss der Vorinstanzen, das Schreiben vom 29. März 2008, in welchem die Ehefrau von ihren früheren Aussagen abwich, sei erst unter seinem Druck zustande gekommen. Demzufolge kann auch aus dem soeben erwähnten angeblichen Widerspruch nicht gefolgert werden, die Vorinstanz habe den Sachverhalt unrichtig festgestellt.
3.5 Gestützt auf die für das Bundesgericht demnach verbindlichen Sachverhaltsfeststellungen (vgl. <ref-law>) ist der Schluss der Vorinstanzen, es liege eine Scheinehe vor, nicht zu beanstanden. Zwar mag seitens der Ehefrau eine Liebesheirat stattgefunden haben und von ihr der Anstoss zur Heirat ausgegangen sein. Eine Ausländerrechtsehe setzt aber nicht voraus, dass beide Ehegatten mit der Heirat ausländerrechtliche Vorschriften umgehen wollen; es genügt, dass allein der Ausländer dies beabsichtigt.
Die Vorinstanzen haben zahlreiche Indizien angeführt, die einzeln betrachtet wohl noch nicht die Annahme einer Scheinehe rechtfertigen würden, aber als Gesamtbild keine Zweifel am Vorliegen einer von Art. 7 Abs. 2 ANAG erfassten Situation lassen. Der Beschwerdeführer vermag die Geschlossenheit dieses Gesamtbildes durch sein blosses Bestreiten und sein übriges Vorbringen nicht zu erschüttern. Erwähnt sei hier nur der Umstand, dass sich weder am tatsächlichen Wohnort des Beschwerdeführers im Kanton Graubünden noch an demjenigen der Ehefrau am Bodensee persönliche Effekten des jeweils anderen Ehepartners befanden. Auch konnte der Beschwerdeführer nach über zweijährigem Aufenthalt in der Schweiz keine Angaben zu Hobbys und Freizeitaktivitäten seiner Ehefrau machen. Hierzu erklärt der Beschwerdeführer bloss, sie hätten an verschiedenen Orten gearbeitet und deshalb während der Woche zum Teil getrennt gelebt. Daher sei wenig Zeit für allfällige gemeinsame Hobbys geblieben. Das steht allerdings im Widerspruch zur Aussage des Beschwerdeführers, er sei während seinen arbeitsfreien Tagen regelmässig in die eheliche Wohnung zurückgekehrt. Schliesslich äussert sich der Beschwerdeführer auch nicht zum Vorhalt der Vorinstanz, er habe in der Nähe des Wohnortes der Ehefrau keine Arbeit gesucht. Für alles Weitere kann auf die Ausführungen in den Entscheiden des Verwaltungsgerichts vom 5. November 2008 und des kantonalen Departements vom 8. Juli 2008 verwiesen werden.
3.6 Soweit der Beschwerdeführer auf Art. 50 Abs. 1 lit. a AuG hinweist und damit einen vom (Fort-)Bestand der Ehe unabhängigen Aufenthaltsanspruch geltend machen will, ist ihm zunächst entgegenzuhalten, dass hier noch das ANAG anzuwenden ist (E. 2.1 hievor). Aufgrund der Scheinehe kommt eine Berufung auf diese Bestimmung oder auf Art. 7 Abs. 1 Satz 2 ANAG aber ohnehin nicht in Betracht.
4. Demzufolge ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen, soweit auf sie einzutreten ist. Das kann hier im vereinfachten Verfahren nach <ref-law> geschehen. Bei diesem Ausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 und 66 BGG). Parteientschädigungen werden nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Ausländeramt, dem Sicherheits- und Justizdepartement sowie dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 18. Mai 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Merz