Sachverhalt:
A. Der türkische Staatsangehörige X._ (geb. 1956) reiste im Mai 2000 in die Schweiz ein und stellte ein Asylgesuch. Dieses wurde am 25. September 2000 abgewiesen; gleichzeitig wurde eine Ausreisefrist bis zum 8. November 2000 angesetzt. Am 9. Oktober 2000 heiratete X._ in St. Gallen die Schweizer Bürgerin Y._ (geb. 1955). In der Folge erhielt er im Rahmen des Familiennachzugs eine zuletzt bis zum 9. Oktober 2005 verlängerte Aufenthaltsbewilligung. Mit Verfügung vom 17. Januar 2007 wies das Ausländeramt St. Gallen die Gesuche von X._ um Verlängerung der Aufenthaltsbewilligung bzw. um Erteilung der Niederlassungsbewilligung mit der Begründung ab, es liege eine Scheinehe vor. Die dagegen im Kanton erhobenen Rechtsmittel blieben erfolglos.
B. X._ beantragt dem Bundesgericht mit Beschwerde vom 6. Dezember (Postaufgabe: 7. Dezember) 2007 die Aufhebung des in dieser Sache zuletzt ergangenen Urteils des Verwaltungsgerichts des Kantons St. Gallen vom 5. November 2007. Ihm sei die Niederlassungsbewilligung zu erteilen, "zumindest aber der weitere Aufenthalt zu bewilligen". Eventuell sei die Angelegenheit zur neuen Entscheidung zurückzuweisen. Mit Schreiben vom 14. Dezember 2007 reichte X._ Belege nach.
C. Das Justiz- und Polizeidepartement des Kantons St. Gallen sowie das Bundesamt für Migration beantragen Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons St. Gallen stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Mit Schreiben vom 22. Februar 2008 hat X._ eine Replik eingereicht.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 13. Dezember 2007 aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen.
Nach Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20), welches am 1. Januar 2008 in Kraft getreten ist, bleibt für Gesuche, die vor diesem Zeitpunkt gestellt worden sind, das bisherige Recht anwendbar.
1.2 Somit ist hier noch auf das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) abzustellen.
Nach Art. 4 ANAG entscheiden die Behörden grundsätzlich nach freiem Ermessen über die Bewilligung des Aufenthaltes. Gemäss Art. 7 Abs. 1 ANAG (in der Fassung vom 23. März 1990, AS 1991 1034 1043) hat der ausländische Ehegatte eines Schweizer Bürgers allerdings Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (Satz 1); nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat er Anspruch auf die Niederlassungsbewilligung (Satz 2). Der Anspruch erlischt, wenn ein Ausweisungsgrund vorliegt (Satz 3). Kein Anspruch besteht zudem, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung der Ausländer und namentlich jene über die Begrenzung der Zahl der Ausländer zu umgehen (Art. 7 Abs. 2 ANAG).
Die Ehe zwischen dem Beschwerdeführer und der Schweizer Bürgerin besteht formell fort. Auch lebt der Beschwerdeführer seit Eheschliessung über fünf Jahre in der Schweiz. Damit hat er grundsätzlich einen Anspruch auf Bewilligung nach Art. 7 Abs. 1 Satz 1 und 2 ANAG, weswegen auf die Beschwerde einzutreten ist. Die Frage, ob die Bewilligung verweigert werden durfte, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände bzw. ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1.5 S. 150; <ref-ruling> E. 1b S. 266 mit Hinweisen).
1.3 Soweit der Beschwerdeführer einen Härtefall im Sinne von Art. 13 lit. f der - am 1. Januar 2008 aufgehobenen - Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (Begrenzungsverordnung, BVO; AS 1986 1791) geltend macht, ist auf die Beschwerde hingegen nicht einzutreten. Aus dieser Bestimmung ergibt sich kein Rechtsanspruch (<ref-ruling> E. 2.2 S. 284; <ref-ruling> ff.; vgl. auch den Ausschluss der Beschwerde betreffend die vorläufige Aufnahme, die Wegweisung und die Abweichungen von den Zulassungsvoraussetzungen nach Art. 83 lit. c Ziff. 3-5 BGG).
2. 2.1 Kein Anspruch auf Bewilligung nach Art. 7 Abs. 2 ANAG (vgl. auch Art. 51 Abs. 1 lit. a AuG) besteht beim Eingehen einer sog. Scheinehe bzw. Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen. Die Vorinstanzen sind aufgrund ihrer Sachverhaltserhebung zum Schluss gekommen, der Beschwerdeführer habe die Schweizer Bürgerin nur zwecks Erwirkung einer Aufenthaltsbewilligung geheiratet, ohne mit ihr eine wirkliche Ehe bzw. Lebensgemeinschaft führen zu wollen; es liege eine Scheinehe vor.
2.2 Dass eine Scheinehe eingegangen worden ist, entzieht sich in der Regel einem direkten Beweis und ist oft bloss durch Indizien zu erstellen. Auch im vorliegenden Fall stützen die Vorinstanzen ihren Entscheid nur auf Indizien. Das Bundesgericht prüft die Rechtsfrage frei, ob die festgestellten Tatsachen (Indizien) darauf schliessen lassen, die Berufung auf die Ehe sei rechtsmissbräuchlich oder bezwecke die Umgehung fremdenpolizeilicher Vorschriften (<ref-ruling> E. 2.3 S. 152; <ref-ruling> E. 5a S. 57).
Typische Anhaltspunkte für das Vorliegen einer Scheinehe sind die drohende Wegweisung, weil ohne Heirat eine Aufenthaltsbewilligung nicht erteilt bzw. verlängert würde, ferner die kurze Dauer der Bekanntschaft vor der Heirat, der grosse Altersunterschied der Ehegatten, die fehlende Wohngemeinschaft oder die Bezahlung einer Geldsumme für die Heirat. Umgekehrt kann aus dem blossen Umstand, dass die Ehegatten während einer gewissen Zeit zusammenleben und intime Beziehungen unterhalten, noch nicht abgeleitet werden, dass die Begründung einer wirklichen Lebensgemeinschaft gewollt ist (vgl. <ref-ruling> E. 2b S. 295; <ref-ruling> E. 3b S. 101 f.).
2.3 Die kantonalen Behörden hatten den Verdacht, dass die Heirat gegen Bezahlung eines Geldbetrages arrangiert wurde. Sie haben das jedoch nicht beweisen können. Zum Nachweis, dass eine Scheinehe eingegangen worden sei, führen sie vor allem an, die Eheleute hätten den Entschluss zur Heirat bereits ein bis zwei Monate nach dem ersten Treffen gefasst. Damals sei der Beschwerdeführer erst eine verhältnismässig kurze Zeit in der Schweiz gewesen; er hatte ein Asylgesuch, welches bald darauf abgewiesen wurde, gestellt. Laut Ehefrau, die kein türkisch spricht, hätten sie sich damals nur schwerlich verständigen können ("mit Händen und Füssen und gebrochen Deutsch"). An der Trauung und einem anschliessenden Essen hätten nur die Trauzeugen teilgenommen; nicht einmal die Kinder der Ehefrau seien dabei gewesen; nach dem Essen seien die Eheleute noch gleichentags wieder zur Arbeit gegangen. Zur Person, Familie und weiteren Eigenschaften des Partners hätten die Eheleute anlässlich ihrer persönlichen Befragungen im Februar und Mai 2006 nur wenige oder widersprüchliche Angaben machen können. Sie hätten auch nie gemeinsam Ferien verbracht. Ungewöhnlich sei zudem, dass die vom Beschwerdeführer geschiedene türkische Ehefrau mit den gemeinsamen Kindern in seinen Häusern in der Heimat wohne. Der Beschwerdeführer lebe hingegen nicht in der Wohnung mit der Schweizer Ehefrau und ihren Söhnen aus erster Ehe. Als Begründung hätten die Eheleute angegeben, er habe wegen Renovationsarbeiten die gemeinsame Wohnung im Juli 2005 verlassen. Bis zum Besuch durch die Behörden im Februar 2006 sei aber fast nichts gemacht worden. Die Vorinstanzen erachten es zudem als nicht nachvollziehbar, dass die Eheleute bei den behaupteten knappen finanziellen Mitteln selbst Renovationsarbeiten in der Mietwohnung vornehmen wollten. Ein gewichtiges Indiz für eine Scheinehe bilde schliesslich der Umstand, dass die Ehefrau im Sexgewerbe tätig sei.
3. 3.1 Der Beschwerdeführer versucht, die von den kantonalen Instanzen für das Vorliegen einer Scheinehe angeführten Indizien mit einer Reihe von Einwendungen zu entkräften. Er führt vor allem aus, die festgestellten Umstände seien nach heutigen Vorstellungen und insbesondere in seiner Situation sowie derjenigen seiner Ehefrau - wie Alter, Eingehen einer zweiten Ehe, Vermögensverhältnisse - nichts Aussergewöhnliches. Teilweise würde es sich auch nur um "unwesentliche Äusserlichkeiten" handeln.
3.2 Die tatsächlichen Feststellungen des Verwaltungsgerichts (vgl. dazu auch Art. 97 Abs. 1 sowie Art. 105 Abs. 1 und 2 BGG) und die daraus gezogenen Schlussfolgerungen lassen sich im Wesentlichen jedoch nicht beanstanden. Es mag zwar zutreffen, dass gewisse Annahmen und Schlussfolgerungen für sich allein genommen nicht genügen, um bereits auf eine Scheinehe zu schliessen. Es kommt aber auf eine Gesamtbetrachtung an. Entgegen den Ausführungen des Beschwerdeführers kann auch auf Fakten zurückgegriffen werden, die nicht in einem unmittelbaren Zusammenhang mit dem Heiratsentschluss stehen. Indizien können sich daher aus Sachverhalten ergeben, die sich erst nach der Heirat zugetragen haben. Vorliegend fällt unter anderem auf, dass die Eheleute trotz von ihnen behaupteter Lebensgemeinschaft, die über fünf Jahre bestanden haben soll, sehr wenig voneinander wissen. Insgesamt gibt es eine Fülle von Indizien, die letztlich nur den Schluss zulassen, dass tatsächlich eine sog. Ausländerrechtsehe geschlossen wurde. Unter Hinweis auf die im Wesentlichen zutreffenden Ausführungen der Vorinstanz sei gestützt auf die persönlichen Befragungen der Eheleute von Februar und Mai 2006 Folgendes ergänzend bemerkt:
3.3 Obwohl der Beschwerdeführer während der Ehezeit mindestens zweimal für zehn Tage bzw. drei Wochen in seine Heimat reiste, begleitete ihn seine Ehefrau kein einziges Mal dorthin. Laut Beschwerdeführer hätten sie nicht daran gedacht. Die Ehefrau lernte die Geschwister des Beschwerdeführers nicht kennen, auch nicht die fünf, die in Österreich und in den Niederlanden wohnen; sie wusste nicht einmal die genaue Anzahl Geschwister. Zudem erklärte sie bei der ersten Befragung, der Beschwerdeführer habe drei Kinder, obwohl er vier Kinder hat; sie konnte nur den Namen und das Alter von einem seiner Kinder angeben. Umgekehrt hat der Beschwerdeführer während der ganzen Zeit nie Bekanntschaft gemacht mit der erwachsenen Tochter der Ehefrau, die in Zürich lebt. Er konnte nicht einmal sagen, was sie dort studiert. Auch wusste er bei der ersten Befragung nicht, welche Klasse der jüngste, bei der Ehefrau lebende Sohn (geb. 1994) aus erster Ehe besucht.
Sodann erklärte der Beschwerdeführer, er habe den regelmässigen Kontakt zu seinen eigenen Kindern aufrechterhalten. Als sich einer der Söhne des Beschwerdeführers während mehreren Wochen in St. Gallen aufhielt, will die Ehefrau ihn indes nur ein einziges Mal gesehen haben. Dieser Sohn schloss im Übrigen mit einer Schweizer Bürgerin, der Geld versprochen worden war, eine Scheinehe, die durch einen Verwandten des Beschwerdeführers vermittelt worden war, bei dem Letzterer arbeitet.
Während die Ehefrau als Hobbys ihres Ehemannes und teilweise auch von ihr Tanzen und Kartenspielen angab, wobei sie diesen Beschäftigungen in ihrer gemeinsamen Freizeit "viel" nachgehen würden, erklärte der Beschwerdeführer, er würde sehr selten Karten spielen und das auch nicht so gut beherrschen. Das Tanzen erwähnte er überhaupt nicht. Ihre Freizeit würden sie vielmehr mit "Sitzen zu Hause", Aufräumen, "etwas spazieren" und "Fernsehen" verbringen; sie hätten beide keine Hobbys. Auch zu intimeren Bereichen widersprachen sich die Angaben der Eheleute.
Nicht zuletzt wichen die Erklärungen der Eheleute auch bezüglich des Verzichts auf den Austausch von Ringen bei der Heirat voneinander ab. Zur Begründung gab der Beschwerdeführer an, das sei in seiner Heimat nicht üblich. Demgegenüber sagte die Ehefrau aus, der Beschwerdeführer habe ihr einen Ring kaufen wollen, sie habe es aber nicht gewollt, weil sie darauf keinen Wert legte und zudem Allergien habe. Ausserdem konnte die Ehefrau nur den Namen eines der beiden Trauzeugen angeben.
3.4 Ob die Ehefrau im Sexgewerbe tätig ist, was der Beschwerdeführer bestreitet, spielt mit Blick auf die übrigen Indizien keine Rolle. Die Vorinstanz war unter anderem gestützt auf eine einschlägige Zeitungsannonce, welche die Telefonnummer der Arbeitskollegin der Ehefrau des Beschwerdeführers enthielt, zu dieser Annahme gelangt. Nach dem Gesagten ist nicht weiter auf die Rüge einzugehen, ob die Vorinstanz den Anspruch des Beschwerdeführers auf rechtliches Gehör (<ref-law>) verletzt hat, indem sie ihm keine Gelegenheit einräumte, zu der nachträglich beigezogenen Zeitungsannonce bzw. dem daraus gezogenen Schluss Stellung zu nehmen.
3.5 Der Beschwerdeführer rügt als weitere Verletzung von <ref-law>, dass die Vorinstanzen von ihm gestellte Beweisanträge nicht abgenommen hätten. Dadurch sei ihm verunmöglicht worden darzutun, dass er keine Scheinehe eingegangen sei. Wie die Vorinstanz zutreffend ausführt, durfte in antizipierter Beweiswürdigung von der erneuten persönlichen Anhörung der Eheleute und der Einvernahme weiterer Zeugen abgesehen werden. Aus den durchgeführten Befragungen der Eheleute ergab sich - wie gesehen - schon eine hinreichende Entscheidungsgrundlage. Wenn bereits die Eheleute widersprüchliche Angaben unter anderem zu gemeinsamen Freizeitaktivitäten machen, bedarf es hierzu im vorliegenden Zusammenhang nicht mehr der Einvernahme weiterer Zeugen. Weder wird vom Beschwerdeführer behauptet noch ist ersichtlich, dass die Ehefrau einen Anlass hatte, absichtlich Angaben zu machen, die sich mit den seinigen nicht decken.
3.6 Der Beschwerdeführer und seine Ehefrau haben inzwischen gemeinsam eine Wohnung angemietet. Das geschah indes erst nachdem die Behörden ihnen den Vorwurf der Scheinehe eröffnet hatten. Daher kommt diesem Element hier keine entscheidende Bedeutung zu.
Zwar ist nicht ausgeschlossen, dass eine ursprüngliche Scheinehe nachträglich zu einer echten Ehe werden kann, aus der ein Ausländer ein Aufenthaltsrecht ableiten darf (vgl. <ref-ruling> E. 2d S. 4 f.; anderer Ansicht: Angela Bryner, Die Frau im Asyl- und Ausländerrecht, in: Uebersax/Münch/Geiser/Arnold [Hrsg.], Ausländerrecht, Basel 2002, S. 1069 Rz. 24.28). Dafür genügt ein blosses Zusammenleben jedoch nicht. Die Partner müssen vielmehr ihren Willen, nunmehr doch eine echte Gemeinschaft zu bilden, in einer überzeugenden Weise belegen. Das ist hier nicht geschehen. Weder anlässlich der Befragung der Eheleute vom Februar 2006 noch anlässlich derjenigen vom Mai 2006 ergaben sich hierfür Anhaltspunkte. Auch in den anschliessenden Rechtsmittelverfahren hat der Beschwerdeführer nicht substantiiert dargetan, dass sie neuerdings eine echte Ehegemeinschaft bilden. Er hat zwar bereits vor dem Verwaltungsgericht eventualiter eine "Heilung" geltend gemacht. Hierzu beruft er sich auf Gegebenheiten, die auf die Zeit vor den erwähnten Befragungen zurückgehen. Wie ausgeführt (s. insbesondere E. 2.3 und 3.3), sprechen die Gesamtumstände insoweit aber gegen das Bestehen einer ehelichen Lebensgemeinschaft. Auch dass die Ehefrau dem Beschwerdeführer inzwischen bei der gerichtlichen Durchsetzung einer Geldforderung gegenüber einem Dritten geholfen haben soll, rechtfertigt noch keine andere Annahme. Im Übrigen wäre ein Verhalten, welches Eheleute erst an den Tag legen, nachdem ihnen der Vorwurf des Eingehens einer Scheinehe eröffnet worden ist, mit besonderer Zurückhaltung als Indiz für eine nachträgliche echte Ehe zu würdigen.
3.7 Der Beschwerdeführer macht schliesslich geltend, die Vorinstanzen verletzten den Vertrauensschutz und handelten wider Treu und Glauben (<ref-law>), wenn sie zunächst ohne jeden Vorbehalt mehrmals seine Aufenthaltsbewilligungen verlängerten und ihn erst fünfeinhalb Jahre nach der Heirat mit dem Vorwurf der Scheinehe konfrontierten. Dieser Einwand ist unbehelflich. Die Fremdenpolizei mag zwar von Anfang an gewusst haben, dass der Beschwerdeführer kurz vor Ablauf der ihm damals gesetzten Ausreisefrist heiratete. Allein deswegen musste bzw. konnte sie ihm jedoch nicht bereits die Anwesenheit verweigern. Als sie über mehr Anhaltspunkte für das Vorliegen einer Ausländerrechtsehe verfügte, verlängerte sie ihm denn auch nicht mehr vorbehaltlos die Bewilligung. Im Übrigen erscheint es seitens des Beschwerdeführers als treuwidrig, wenn er mit der Scheinehe zunächst die Behörden täuscht und diesen dann im Ergebnis vorwirft, sie seien ihm nicht früher auf die Schliche gekommen.
4. Nach dem Gesagten durften die Vorinstanzen ohne Verletzung von Bundesrecht oder staatsvertraglicher Garantien annehmen, bei der Ehe des Beschwerdeführers handle es sich um eine Scheinehe, und aus diesem Grund die Erteilung der Niederlassungsbewilligung bzw. die Verlängerung der Aufenthaltsbewilligung verweigern. Da der Beschwerdeführer seinen Aufenthalt durch unlauteres Verhalten erschlichen hat und davon auszugehen ist, dass bisher keine echte Ehe besteht, sind auch die Rügen der Verletzung der Garantie des Familienlebens und der Menschenwürde (Art. 7 und 13 f. BV, Art. 8 EMRK) unbegründet.
Damit ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen, soweit darauf einzutreten ist. Auf die eventualiter erhobene subsidiäre Verfassungsbeschwerde (<ref-law>) ist nicht einzutreten. Der Beschwerdeführer macht keine - zulässigen - Rügen geltend, die nicht bereits im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten behandelt wurden (vgl. Art. 117 in Verbindung mit <ref-law>; <ref-ruling>, insbes. E. 6; <ref-ruling> E. 1.4 S. 222; <ref-ruling> E. 1a S. 235).
5. Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Justiz- und Polizeidepartement sowie dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 19. März 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Merz