Sachverhalt:
Sachverhalt:
A. J.X._ ist Verwaltungsratspräsident und Verkaufsleiter der Ofenherstellerin N._ AG sowie einziger Verwaltungsrat der V._ AG, die unter anderem Immobilien verwaltet und Finanz- sowie Handelsgeschäfte abwickelt. Er besitzt mehrere Liegenschaften. 1986 erwarb er die Liegenschaft Nr. 11 in S._, R._/ TG (16'800 m2, mit diversen Gebäuden), welche 1994 in die Grundstücke Nrn. 11 und 222 aufgeteilt wurde; 1995 entstand aufgrund einer Grenzänderung zudem das Grundstück Nr. 333. Am 13. September 1995 veräusserte er einen Teil der Liegenschaft Nr. 11 und schloss gleichzeitig zwei Kaufverträge über die Grundstücke Nrn. 333 und 222 ab; dieses Grundstück wechselte gleichentags den Eigentümer; vom Vertrag über das Grundstück Nr. 333 trat die Käuferin am 25. Mai 1999 indes wegen finanzieller Probleme zurück. J.X._ blieb Eigentümer der Liegenschaft Nr. 11 (1'680 m2 mit zwei Gebäuden). Er verkaufte am 30. Juni 1999 das Grundstück Nr. 333 (inkl. Bauprojekt) für 1,6 Mio. Franken und erwarb von der Käuferin gleichzeitig eine Liegenschaft für 3,6 Mio. Franken. Am 25. August 2003 veranlagte das Kantonale Steueramt St. Gallen J.X._ und seine Ehefrau U.X._ für die direkte Bundessteuer 1999 wegen "Quasi-Liegenschaftenhandel" mit einer Jahressteuer von Fr. 82'217.-- auf ausserordentlichen Einkünften von Fr. 715'000.-- (Fr. 798'500.-- Grundstückgewinn gemäss entsprechender Veranlagung 1999 der Steuerverwaltung des Kantons Thurgau vom 23. März 2000, abzüglich Fr. 83'500.-- AHV-Beiträge). Eine hiergegen erhobene Einsprache des Ehepaars X._ wies die Kantonale Verwaltung für die direkte Bundessteuer am 17. Mai 2004 ab.
A. J.X._ ist Verwaltungsratspräsident und Verkaufsleiter der Ofenherstellerin N._ AG sowie einziger Verwaltungsrat der V._ AG, die unter anderem Immobilien verwaltet und Finanz- sowie Handelsgeschäfte abwickelt. Er besitzt mehrere Liegenschaften. 1986 erwarb er die Liegenschaft Nr. 11 in S._, R._/ TG (16'800 m2, mit diversen Gebäuden), welche 1994 in die Grundstücke Nrn. 11 und 222 aufgeteilt wurde; 1995 entstand aufgrund einer Grenzänderung zudem das Grundstück Nr. 333. Am 13. September 1995 veräusserte er einen Teil der Liegenschaft Nr. 11 und schloss gleichzeitig zwei Kaufverträge über die Grundstücke Nrn. 333 und 222 ab; dieses Grundstück wechselte gleichentags den Eigentümer; vom Vertrag über das Grundstück Nr. 333 trat die Käuferin am 25. Mai 1999 indes wegen finanzieller Probleme zurück. J.X._ blieb Eigentümer der Liegenschaft Nr. 11 (1'680 m2 mit zwei Gebäuden). Er verkaufte am 30. Juni 1999 das Grundstück Nr. 333 (inkl. Bauprojekt) für 1,6 Mio. Franken und erwarb von der Käuferin gleichzeitig eine Liegenschaft für 3,6 Mio. Franken. Am 25. August 2003 veranlagte das Kantonale Steueramt St. Gallen J.X._ und seine Ehefrau U.X._ für die direkte Bundessteuer 1999 wegen "Quasi-Liegenschaftenhandel" mit einer Jahressteuer von Fr. 82'217.-- auf ausserordentlichen Einkünften von Fr. 715'000.-- (Fr. 798'500.-- Grundstückgewinn gemäss entsprechender Veranlagung 1999 der Steuerverwaltung des Kantons Thurgau vom 23. März 2000, abzüglich Fr. 83'500.-- AHV-Beiträge). Eine hiergegen erhobene Einsprache des Ehepaars X._ wies die Kantonale Verwaltung für die direkte Bundessteuer am 17. Mai 2004 ab.
B. Gegen deren Einspracheentscheid gelangten die Ehegatten X._ an die Verwaltungsrekurskommission des Kantons St. Gallen. Diese wies die Beschwerde am 27. April 2005 ab.
B. Gegen deren Einspracheentscheid gelangten die Ehegatten X._ an die Verwaltungsrekurskommission des Kantons St. Gallen. Diese wies die Beschwerde am 27. April 2005 ab.
C. J. und U.X._ haben am 30. Mai 2005 gegen diesen Entscheid Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht. Sie beantragen, das angefochtene Urteil und die Veranlagungsverfügung vom 25. August 2003 seien aufzuheben und es sei festzustellen, dass die Beschwerdeführer nicht als "Quasi-Liegenschaftenhändler" zu qualifizieren seien, weshalb die fragliche Besteuerung entfalle; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz oder die Einsprachebehörde zurückzuweisen.
Das Kantonale Steueramt, die Verwaltungsrekurskommission und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Zu diesen Eingaben haben die Beschwerdeführer unaufgefordert Stellung genommen.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Gegen den kantonal letztinstanzlichen Entscheid der Verwaltungsrekurskommission ist die Verwaltungsgerichtsbeschwerde grundsätzlich zulässig. Vorliegend geht es um das Steuerjahr 1999, so dass sich die Frage nach einem einheitlichen Instanzenzug bezüglich der direkten Bundessteuer und den harmonisierten kantonalen Steuern nicht stellt (vgl. Art. 98 lit. g OG und Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]; <ref-ruling> ff.). Unzulässig ist der Antrag, auch die Veranlagungsverfügung aufzuheben, gilt diese doch als mit angefochten (sog. Devolutiveffekt; <ref-ruling> E. 1 S. 441 mit Hinweisen). Nicht einzutreten ist auf den Feststellungsantrag, da diesem Verfahren mit der Veranlagungsverfügung ein Leistungsentscheid zugrunde liegt, weshalb es an einem entsprechenden Feststellungsinteresse fehlt. Im Übrigen ist auf die Beschwerde einzutreten.
1.2 Im Verfahren der Verwaltungsgerichtsbeschwerde prüft das Bundesgericht von Amtes wegen und frei, ob Bundesrecht verletzt worden ist. In Abgabestreitigkeiten ist es grundsätzlich weder an die Parteibegehren noch an deren Begründung gebunden (Art. 114 Abs. 1 zweiter Satz OG). Es kann die Beschwerde auch aus andern als den im Verfahren vorgebrachten Gründen gutheissen oder abweisen (vgl. <ref-ruling> E. 1.2.2 S. 150 f.). Die Sachverhaltsfeststellung bindet das Bundesgericht indessen im Rahmen von Art. 105 Abs. 2 OG.
1.2 Im Verfahren der Verwaltungsgerichtsbeschwerde prüft das Bundesgericht von Amtes wegen und frei, ob Bundesrecht verletzt worden ist. In Abgabestreitigkeiten ist es grundsätzlich weder an die Parteibegehren noch an deren Begründung gebunden (Art. 114 Abs. 1 zweiter Satz OG). Es kann die Beschwerde auch aus andern als den im Verfahren vorgebrachten Gründen gutheissen oder abweisen (vgl. <ref-ruling> E. 1.2.2 S. 150 f.). Die Sachverhaltsfeststellung bindet das Bundesgericht indessen im Rahmen von Art. 105 Abs. 2 OG.
2. 2.1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme von Kapitalgewinnen aus der Veräusserung von Privatvermögen (Art. 16 Abs. 1 und 3 DBG). Steuerbar sind alle Einkünfte namentlich aus einem Handels- und Gewerbebetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit (vgl. <ref-law>). Dazu zählen nach <ref-law> auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Der Veräusserung gleichgestellt ist unter anderem die Überführung von Geschäfts- ins Privatvermögen. Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen. Einkommen aus solcher Erwerbstätigkeit sind schliesslich auch die Gewinne aus der Veräusserung von Vermögensgegenständen, wenn sie in einer Tätigkeit erzielt werden, welche über die schlichte Vermögensverwaltung hinausgeht (vgl. <ref-ruling> E. 5d/e S. 122 f.; Urteile 2A.544/2004 vom 9. Dezember 2004; 2A.512/ 2003 vom 2. April 2004, je E. 2.1).
2.2 Nach ständiger Rechtsprechung des Bundesgerichts sind Veräusserungsgewinne steuerbar, wenn sie sich aus irgendeiner auf Erwerb (Verdienst) gerichteten Tätigkeit der steuerpflichtigen Person ergeben; dabei ist gleichgültig, ob diese im Haupt- oder Nebenberuf, regelmässig oder einmalig ausgeübt wird. Auch Gewinne aus der Veräusserung von Liegenschaften unterliegen der Einkommenssteuer, wenn sie im Rahmen einer solchen Tätigkeit erzielt werden. Steuerfrei sind sie nur, wenn sie bei der blossen Verwaltung des eigenen Privatvermögens oder einer zufällig sich bietenden Gelegenheit (ohne eigentliche auf Verdienst gerichtete Tätigkeit) erlangt werden. Ob Veräusserungsgewinne nach <ref-law> zu besteuern sind, ist im Einzelfall stets nach den gesamten Umständen zu beurteilen. Als Indizien für eine selbständige Erwerbstätigkeit können bei Liegenschaftsgewinnen etwa in Betracht kommen die (systematische bzw. planmässige) Art und Weise des Vorgehens, die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die Besitzdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte oder die Realisierung im Rahmen einer Personengesellschaft. Jedes dieser Indizien kann zusammen mit andern, im Einzelfall aber auch allein ausreichen, um eine Erwerbstätigkeit anzunehmen (vgl. zum Ganzen <ref-ruling> E. 6a S. 124; <ref-ruling> E. 3b S. 449 f.; Urteile 2A.547/2004 vom 22. April 2005, E. 2.2; 2A.544/2004 vom 9. Dezember 2004; 2A.512/2003 vom 2. April 2004, je E. 2.1).
2.2 Nach ständiger Rechtsprechung des Bundesgerichts sind Veräusserungsgewinne steuerbar, wenn sie sich aus irgendeiner auf Erwerb (Verdienst) gerichteten Tätigkeit der steuerpflichtigen Person ergeben; dabei ist gleichgültig, ob diese im Haupt- oder Nebenberuf, regelmässig oder einmalig ausgeübt wird. Auch Gewinne aus der Veräusserung von Liegenschaften unterliegen der Einkommenssteuer, wenn sie im Rahmen einer solchen Tätigkeit erzielt werden. Steuerfrei sind sie nur, wenn sie bei der blossen Verwaltung des eigenen Privatvermögens oder einer zufällig sich bietenden Gelegenheit (ohne eigentliche auf Verdienst gerichtete Tätigkeit) erlangt werden. Ob Veräusserungsgewinne nach <ref-law> zu besteuern sind, ist im Einzelfall stets nach den gesamten Umständen zu beurteilen. Als Indizien für eine selbständige Erwerbstätigkeit können bei Liegenschaftsgewinnen etwa in Betracht kommen die (systematische bzw. planmässige) Art und Weise des Vorgehens, die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die Besitzdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte oder die Realisierung im Rahmen einer Personengesellschaft. Jedes dieser Indizien kann zusammen mit andern, im Einzelfall aber auch allein ausreichen, um eine Erwerbstätigkeit anzunehmen (vgl. zum Ganzen <ref-ruling> E. 6a S. 124; <ref-ruling> E. 3b S. 449 f.; Urteile 2A.547/2004 vom 22. April 2005, E. 2.2; 2A.544/2004 vom 9. Dezember 2004; 2A.512/2003 vom 2. April 2004, je E. 2.1).
3. Dass die Vorinstanz den Beschwerdeführer als "Quasi-Liegenschaftenhändler" erachtet und den von diesem erzielten Gewinn aus dem Liegenschaften-Tauschgeschäft mit der direkten Bundessteuer 1999 erfasst hat, ist nicht zu beanstanden.
3.1 Der Beschwerdeführer hat den Kauf der ursprünglich ungeteilten Liegenschaft Nr. 11 mit Fremdmitteln von 90% finanziert. Später wurde diese Liegenschaft in drei Grundstücke aufgeteilt und das Grundstück Nr. 333 zusammen mit einem Überbauungsprojekt verkauft bzw. gegen eine andere Liegenschaft abgetauscht. Zudem ist der Beschwerdeführer als Organ einer Ofenbaufirma mit der Baubranche verbunden. Im Übrigen hat er vor 1999 unbestritten auch andere gewinnbringende Liegenschaftsgeschäfte getätigt. Anhand dieser Indizien ist nicht mehr eine schlichte private Vermögensverwaltung, sondern eine (nebenberufliche) selbständige Erwerbstätigkeit anzunehmen.
3.2 Infolge Wechsels von der Vergangenheits- zur Gegenwartsbemessung würde der 1999 erzielte Gewinn als Einkunft aus den beiden Jahren vor dem Wechsel (1999 und 2000 im Kanton St. Gallen) in eine Bemessungslücke fallen (vgl. Art. 218 Abs. 1 i.V.m. <ref-law>). Dies wird indes durch <ref-law> verhindert, der ausserordentliche Einkünfte mit einer Jahressteuer erfasst. Als solche gelten auch ausserordentliche Einkünfte aus selbständiger Erwerbstätigkeit (vgl. Art. 218 Abs. 3 i.V.m. <ref-law>) wie der hier fragliche Gewinn, der folglich zu besteuern ist (vgl. Urteil 2A.544/2004 vom 9. Dezember 2004, E. 2.4, mit Hinweisen).
3.2 Infolge Wechsels von der Vergangenheits- zur Gegenwartsbemessung würde der 1999 erzielte Gewinn als Einkunft aus den beiden Jahren vor dem Wechsel (1999 und 2000 im Kanton St. Gallen) in eine Bemessungslücke fallen (vgl. Art. 218 Abs. 1 i.V.m. <ref-law>). Dies wird indes durch <ref-law> verhindert, der ausserordentliche Einkünfte mit einer Jahressteuer erfasst. Als solche gelten auch ausserordentliche Einkünfte aus selbständiger Erwerbstätigkeit (vgl. Art. 218 Abs. 3 i.V.m. <ref-law>) wie der hier fragliche Gewinn, der folglich zu besteuern ist (vgl. Urteil 2A.544/2004 vom 9. Dezember 2004, E. 2.4, mit Hinweisen).
4. Was die Beschwerdeführer dagegen einwenden, überzeugt nicht.
4.1 Zwar wurde der Beschwerdeführer für die Geschäfte vor 1999 nicht als Händler angesehen; vorliegend rechtfertigt es sich aber, die Umstände vor der Durchführung des Tauschgeschäfts - insbesondere die erhebliche Fremdfinanzierung und die Grundstücksparzellierung mit zu berücksichtigen; der Verkaufszeitpunkt darf nicht isoliert betrachtet werden (vgl. <ref-ruling> E. 6c/cc S. 127 f.; Urteil 2A.512/2003 vom 2. April 2004, E. 2.3.2; siehe auch Urteil 2A.544/2004 vom 9. Dezember 2004, E. 3). Im Übrigen behielt das Steueramt in der Hauptveranlagung der Periode 1997/98 eine entsprechende Besteuerung ab 1999 ausdrücklich vor. Daran ändert auch nichts, dass es den Verkauf der Parzelle Nr. 222 "entgegenkommenderweise noch nicht" als Liegenschaftenhandel behandelte und die Projektierungskosten der Überbauung des Grundstücks Nr. 333 bereits im Jahr 1995 kannte. Damit beurteilte es die vor 1999 eingetretenen Tatsachen nicht neu. Weiter steht der Beschwerdeführer als Gesamtleiter einer Ofenbaufirma dem Baugewerbe so nahe, dass er seine Fachkenntnisse als Liegenschaftenhändler einsetzen kann. Dass in der Hauptveranlagung 1999/2000 eine solche Qualifikation nicht vorgenommen wurde, macht eine gesonderte Besteuerung gerade erforderlich (vgl. E. 3.2) und schliesst sie nicht aus. Dies gilt auch für den Einwand, das Tauschgeschäft sei zur Sicherung der Altersvorsorge getätigt worden (vgl. <ref-ruling> E. 6b S. 125; Urteil 2P.119/2001, 2A.215/2001 vom 10. Oktober 2001, E. 5; siehe auch Urteile 2A.544/2004 vom 9. Dezember 2004; 2A.512/ 2003 vom 2. April 2004, je E. 2.3).
4.2 Ebenso unbegründet ist der Eventualantrag, die Sache an die kantonalen Instanzen zurückzuweisen zur neuen Bemessung der Steuerhöhe. Auch wenn diese Frage im vorinstanzlichen Verfahren nicht aufgeworfen wurde, liegt sie innerhalb des hier zu behandelnden Streitgegenstandes. Die diesbezüglichen Sachverhaltsfeststellungen der Vorinstanz sind für das Bundesgericht verbindlich (Art. 105 Abs. 2 OG; E. 1.2) und im Übrigen zutreffend. Ob und wieweit sie auf die Aufnahme einer Geschäftstätigkeit als Händler schliessen lassen, prüft das Bundesgericht als Rechtsfrage frei. So ist eine Wertsteigerung der Liegenschaft Nr. 333 zwischen 1986 (Erwerbszeitpunkt) und 1999 (Qualifizierung als Händler) nicht als steuerfreier, privater Kapitalgewinn (<ref-law>) zu berücksichtigen. Aufgrund der genannten Indizien fällt der Beginn der selbständigen Erwerbstätigkeit als Liegenschaftenhändler im Sinne der Bundesgerichtspraxis auf den Zeitpunkt des Erwerbs der fraglichen Liegenschaft. Für die Bemessung der Höhe der Steuer ist damit vom gesamten Erlös (abzüglich AHV-Beiträgen) auszugehen (vgl. StR 58/2003 S. 129, 2A.156/2002, E. 3.3 und 3.6.3). Im Übrigen ist die Höhe des Gewinns nicht streitig.
4.3 Schliesslich wurde auch das rechtliche Gehör (<ref-law>) nicht verletzt. Die Vorinstanz hat den (vertretenen) Beschwerdeführern mit Schreiben vom 27. Januar 2005 Gelegenheit gegeben, die zusätzlich beigezogenen Akten - den Kaufvertrag betreffend die Parzelle Nr. 333 und die entsprechende Handänderunganzeige, die Gegengeschäftsvereinbarung mit der Y._ AG sowie die Hauptveranlagungsakten 1999 - einzusehen. Offenbar wurde aber weder vom Akteneinsichtsrecht (vgl. dazu <ref-ruling> E. 3 S. 253, 85 E. 4.1 S. 88 f., je mit Hinweis) Gebrauch gemacht, noch sonst wie Stellung genommen.
4.3 Schliesslich wurde auch das rechtliche Gehör (<ref-law>) nicht verletzt. Die Vorinstanz hat den (vertretenen) Beschwerdeführern mit Schreiben vom 27. Januar 2005 Gelegenheit gegeben, die zusätzlich beigezogenen Akten - den Kaufvertrag betreffend die Parzelle Nr. 333 und die entsprechende Handänderunganzeige, die Gegengeschäftsvereinbarung mit der Y._ AG sowie die Hauptveranlagungsakten 1999 - einzusehen. Offenbar wurde aber weder vom Akteneinsichtsrecht (vgl. dazu <ref-ruling> E. 3 S. 253, 85 E. 4.1 S. 88 f., je mit Hinweis) Gebrauch gemacht, noch sonst wie Stellung genommen.
5. Demnach ist die Verwaltungsgerichtsbeschwerde unbegründet und abzuweisen, soweit darauf einzutreten ist. Dem Verfahrensausgang entsprechend sind die Kosten den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 153, 153a und 156 Abs. 1 sowie 2 OG). Parteientschädigungen sind nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 5'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
2. Die Gerichtsgebühr von Fr. 5'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Kantonalen Verwaltung für die direkte Bundessteuer und der Verwaltungsrekurskommission des Kantons St. Gallen, Abteilung I, 1. Kammer, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 23. November 2005
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: