Sachverhalt:
A. X._ ist Eigentümer der Parzelle Nr. 3412 in Altstätten. Das 25'018 m2 grosse, mit einem kleinen Weidschopf überbaute Grundstück liegt südlich der ebenfalls X._ gehörenden Parzelle Nr. 3359, von welcher sie durch die Rietaach getrennt ist. Im Osten grenzt es an die Oberrieterstrasse, im Süden an die Luchsstrasse. Sowohl die Parzelle Nr. 3412 wie auch die Parzelle Nr. 3359 liegen nach dem Zonenplan Süd der Stadt Altstätten vom 11. Juni 1996 in der Landwirtschaftszone. Auf der östlich der Oberrieterstrasse und nördlich der Rietaach gelegenen Parzelle Nr. 3458 (mit einer Fläche von 3'901 m2), die sich gemäss Zonenplan in der Industriezone IB befindet, betreibt X._ bzw. die Y._ GmbH einen Kiesumschlag- und Recyclingplatz.
Nachdem der Stadtrat in den Jahren 2000 und 2004 eine Einzonung der Parzelle Nr. 3412 abgelehnt hatte, bot er X._ im Frühjahr 2006 an, einen Teil der Parzelle Nr. 3412 (ungefähr die westliche Hälfte) der Industriezone zuzuweisen. Daran knüpfte er die Bedingung, dass X._ seine Parzelle Nr. 3458 zum Preis von Fr. 10'000.-- der Stadt verkaufe. Das Amt für Raumentwicklung (heute Amt für Raumentwicklung und Geoinformation) des Kantons St. Gallen hatte mit Schreiben vom 29. Mai 2006 die Genehmigung eines entsprechenden Teilzonenplans unter gewissen Bedingungen in Aussicht gestellt. Mit Schreiben vom 16. November 2006 lehnte X._ einen Verkauf der Parzelle Nr. 3458 an die Stadt jedoch ab. Gleichzeitig stellte er das Gesuch, die Parzelle Nr. 3412 sei in die Industriezone IB einzuzonen. Zur Begründung machte er insbesondere geltend, die Parzelle Nr. 3412 habe sich trotz intensiver Suche nach einem Alternativstandort als die geeignetste für einen Kiesumschlag- und Recyclingplatz erwiesen. Die Parzelle Nr. 3458 sei dagegen für diesen Zweck nur beschränkt tauglich. Mit Beschluss vom 26. Februar 2007 wies der Stadtrat das Umzonungsbegehren ab. Einen gegen diesen Beschluss erhobenen Rekurs wies das Baudepartement des Kantons St. Gallen mit Entscheid vom 16. April 2008 ab. Gegen den Entscheid des Baudepartements legte X._ beim Verwaltungsgericht des Kantons St. Gallen Beschwerde ein. Dieses wies das Rechtsmittel mit Urteil vom 24. März 2009 ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 15. Mai 2009 beantragt X._, das Urteil des Verwaltungsgerichts, der Entscheid des Baudepartements und der Beschluss des Stadtrats seien aufzuheben und die Parzelle Nr. 3412 sei in die Industriezone IB einzuzonen. Eventualiter sei die Parzelle teilweise, d.h. im Umfang der Anfrage der Stadt Altstätten vom 4. April 2006, in die Industriezone IB einzuzonen. Subeventualiter sei die Sache zur neuen Beurteilung an das Verwaltungsgericht, subsubeventualiter an das Baudepartement, subsubsubeventualiter an die Stadt zurückzuweisen.
Das Verwaltungsgericht und die Gemeinde Altstätten beantragen in ihrer jeweiligen Vernehmlassung die Abweisung der Beschwerde. Das Baudepartement beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung verzichtet auf eine Stellungnahme. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1. 1.1 Das Bundesgericht beurteilt Beschwerden gegen Entscheide in Angelegenheiten des öffentlichen Rechts (Art. 82 lit. a BGG). Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung (vgl. den Verweis in Art. 34 Abs. 1 RPG [SR 700]). Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund (Art. 83 BGG). Angefochten ist ein Entscheid einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d BGG). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, ist durch den angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (Art. 89 Abs. 1 BGG). Unter dem Vorbehalt der nachfolgenden Erwägungen ist auf die Beschwerde einzutreten.
1.2 Unzulässig ist der Antrag des Beschwerdeführers, auch die Entscheide des Baudepartements und des Stadtrats aufzuheben. Diese sind durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gelten als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis).
1.3 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.6 S. 130; <ref-ruling> E. 2.1 und 2.2 S. 245 f.; je mit Hinweisen).
Der Beschwerdeführer erklärt pauschal, vollumfänglich an den Vorbringen in seinen Rechtsschriften an die Vorinstanzen festzuhalten. Da er sich insofern nicht in substanziierter Weise mit dem angefochtenen Entscheid auseinandersetzt, ist darauf nicht einzutreten.
1.4 Die Feststellung und Würdigung der tatsächlichen Verhältnisse überprüft das Bundesgericht im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Massgabe der Art. 97 Abs. 1 und 105 Abs. 1 und 2 BGG. Voraussetzung dazu ist, dass rechtsgenügend begründete Sachverhaltsrügen im Sinne von Art. 42 Abs. 2 BGG erhoben werden.
Der Beschwerdeführer bestreitet die Sachverhaltsfeststellungen der Vorinstanz pauschal, sofern diese nicht mit seinen eigenen übereinstimmen. Darauf ist mangels hinreichender Begründung nicht einzutreten.
1.5 Der rechtserhebliche Sachverhalt geht aus den Akten hinreichend hervor. Auf die Durchführung eines Augenscheins kann daher verzichtet werden.
2. 2.1 Der Beschwerdeführer macht sinngemäss gelten, der Stadtrat habe das ihm von Art. 15 RPG eingeräumte Ermessen missbraucht, indem er sich bei seinem Entscheid von fiskalischen Interessen habe leiten lassen. Nachdem der Beschwerdeführer auf das Angebot des Stadtrats, bei Verkauf der Parzelle Nr. 3458 zum symbolischen Preis von Fr. 10'000.-- die beantragte Umzonung vorzunehmen, nicht eingegangen sei, habe man sein Gesuch abgelehnt. Der Zusammenhang zwischen dem raumplanerischen Entscheid und dem Grundstücksverkauf sei damit erstellt.
Der Beschwerdeführer verkennt, dass Anfechtungsgegenstand des vorliegenden Verfahrens ausschliesslich das Urteil des Verwaltungsgerichts vom 24. März 2009 ist. Aus diesem sind keine Anhaltspunkte ersichtlich, wonach für den ablehnenden Beschluss des Stadtrats, der diesem Urteil zugrunde liegt, fiskalische Interessen ausschlaggebend gewesen sind. Der Beschwerdeführer wirft dem Stadtrat vor, sich bei der in Aussicht gestellten Teileinzonung von fiskalischen Motiven leiten gelassen zu haben. Die Frage braucht nicht weiter erörtert zu werden. Ist das "Gegengeschäft" nicht zustande gekommen, sind zwangsläufig auch die umstrittenen monetären Beweggründe weggefallen. Ob die Teileinzonung rechtmässig gewesen wäre, wenn der Stadtrat das Gesuch nach Zustandekommen des "Gegengeschäfts" gutgeheissen hätte, ist vorliegend nicht zu beurteilen. Selbstredend kann aus einer allfälligen Widerrechtlichkeit des damals in Aussicht gestellten Vorgehens nicht abgeleitet werden, dass der Beschwerdeführer nun einen Anspruch auf Einzonung besitzt. Die Rüge der Verletzung von Art. 15 RPG erweist sich insofern als unbegründet.
2.2 Der Beschwerdeführer bringt in diesem Zusammenhang weiter vor, bei der Parzelle Nr. 3412 handle es sich um Land, das sowohl weitgehend überbaut sei als auch voraussichtlich innert 15 Jahren benötigt und erschlossen werde. Die Vorinstanz habe dies verkannt und deshalb Art. 15 lit. a und b RPG verletzt.
2.2.1 Das weitgehend überbaute Gebiet im Sinne von Art. 15 lit. a RPG umfasst im Wesentlichen den geschlossenen Siedlungsbereich mit eigentlichen Baulücken. Baulücken sind einzelne unüberbaute Parzellen, die unmittelbar an das überbaute Land angrenzen, in der Regel bereits erschlossen sind und eine relativ geringe Fläche aufweisen. Die Nutzung der Baulücke wird vorwiegend von der sie umgebenden Überbauung geprägt; das unüberbaute Land muss also zum geschlossenen Siedlungsbereich gehören, an der Siedlungsqualität teilhaben und von der bestehenden Überbauung so stark geprägt sein, dass sinnvollerweise nur die Aufnahme in die Bauzone in Frage kommt (<ref-ruling> E. 4.1 und 4.2.1 S. 222 f. mit Hinweisen).
Nach Ansicht des Beschwerdeführers handelt es sich bei der fraglichen Parzelle um die letzte Baulücke zwischen zwei Bauzonen. Tatsächlich grenzt die Parzelle direkt sowohl an die Zone für öffentliche Bauten (im Westen) als auch an die Industriezone IB (im Osten). Im Norden und Süden setzt sich jedoch ausgedehnt die Landwirtschaftszone fort. Nach den vom Beschwerdeführer nicht beanstandeten Feststellungen der Vorinstanz ist das Gebiet westlich der Oberrieterstrasse in einem weiten Umkreis landwirtschaftlich geprägt. Die Parzelle weist zudem mit 2.5 ha eine relativ erhebliche Fläche auf. Es kann deshalb bei einer Gesamtbetrachtung der örtlichen Verhältnisse nicht davon gesprochen werden, dass die beiden angrenzenden Bauzonen zusammen einen geschlossenen Siedlungsbereich bildeten, von welchem die Parzelle so stark geprägt wird, dass sinnvollerweise nur ihre Aufnahme in die Bauzone in Frage kommt (vgl. <ref-ruling> E. 4.2.3 und 4.2.5 S. 224 f.; <ref-ruling> E. 4a S. 337; je mit Hinweisen). Daran vermag auch der Hinweis des Beschwerdeführers nichts zu ändern, dass auf dem in den Akten befindlichen Situationsplan die neue Südumfahrung mit Kreiselmündung noch nicht eingezeichnet und die Industriezone IB um zwei Parzellen erweitert worden sei.
2.2.2 Land, das sich für die Überbauung eignet, aber nicht weitgehend überbaut ist, kann gemäss Art. 15 lit. b RPG nur dann der Bauzone zugewiesen werden, wenn es voraussichtlich innert 15 Jahren benötigt und erschlossen wird. Art. 15 RPG vermittelt jedoch (wie auch Art. 26 BV) grundsätzlich keinen Anspruch auf Einzonung von Land in die Bauzone, zumal die Bauzonenausscheidung eine Gestaltungsaufgabe darstellt und einer gesamthaften Abwägung und Abstimmung aller räumlich wesentlichen Gesichtspunkte und Interessen unterliegt (Art. 1 Abs. 1, Art. 2 Abs. 1 RPG; <ref-ruling> E. 3e S. 300; <ref-ruling> E. 3b S. 232; je mit Hinweisen). Der objektive Baulandbedarf stellt bei dieser Abwägung lediglich ein, wenn auch wichtiges Entscheidungskriterium dar (Urteil 1C_119/2007 vom 13. November 2008 E. 3.2.3 mit Hinweisen).
Die Bestimmung des Baulandbedarfs gemäss Art. 15 lit. b RPG richtet sich danach, wie viel Land für die erwünschte Entwicklung benötigt wird. Ist ein stärkeres Wachstum erwünscht, so kann die Bauzone grösser sein als es dem bisherigen Trend entspricht (<ref-ruling> E. 3b S. 341 ff.). Ist kein oder ein schwächeres Wachstum erwünscht, so kann die Planung das Wachstum begrenzen, indem sie trotz vorhandener Nachfrage nach Bauland Gebiete in Nichtbauzonen einweist. Was erwünscht ist, bestimmt die zuständige Planungsbehörde, im Kanton St. Gallen somit im Rahmen von Verfassung, Gesetz und übergeordneter Planung primär die politische Gemeinde (Art. 2 Abs. 1 und Art. 4 f. des Gesetzes des Kantons St. Gallen vom 6. Juni 1972 über die Raumplanung und das öffentliche Baurecht [Baugesetz; sGS 731.1]). Hält sie sich an diese Schranken, so haben die übergeordneten Planungsbehörden und das Kantonsgericht, welches bloss eine Rechtskontrolle ausübt, den Ermessensspielraum der Gemeinde zu respektieren (Art. 3 Abs. 2 Baugesetz, Art. 61 Abs. 1 und 2 des Gesetzes des Kantons St. Gallen vom 16. Mai 1965 über die Verwaltungsrechtspflege [nGS 951.1]; <ref-ruling> E. 4d S. 158; <ref-ruling> E. 4c S. 434; <ref-ruling> E. 3b S. 341 ff.; <ref-ruling> E. 4 S. 370; Urteil 1C_285/2007 vom 22. Mai 2008 E. 5.2; je mit Hinweisen).
Die Vorinstanz führte aus, anlässlich des verwaltungsgerichtlichen Augenscheins sei vom Gemeindevertreter bestätigt worden, dass in Altstätten namentlich im Bereich Baffles und Kesselbachstrasse noch unüberbaute Parzellen in der Industrie- und Gewerbe-Industriezone vorhanden seien. Diese Feststellung wird vom Beschwerdeführer nicht bestritten. Er macht lediglich geltend, die Industrielandreserven von Altstätten seien keineswegs überdimensioniert und der Stadtrat habe festgehalten, die Stadt verfüge nur noch über sehr wenig Industriefläche. Er rügt die vorinstanzliche Sachverhaltsfeststellung jedoch nicht als unrichtig (Art. 97 Abs. 1 BGG) und behauptet auch nicht, auf dem Gemeindegebiet gebe es keine freien und für seinen Betrieb geeignete Grundstücke mehr. Damit erweist sich jedoch die Rüge der Verletzung von Art. 15 lit. b RPG von vornherein als unbegründet.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 66 Abs. 1 BGG). Er hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 2 BGG). Der politischen Gemeinde Altstätten, die in ihrem amtlichen Wirkungskreis obsiegt hat, ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der politischen Gemeinde Altstätten, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 19. November 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Dold