Sachverhalt:
A. A.a Die X._ AG (nachfolgend auch: Gesellschaft) wurde am 17. Januar 1962 unter der Firma Y._ AG mit Sitz in A._/SG gegründet. Sie verfügt über ein Aktienkapital von Fr. 50'000.--, eingeteilt in 50 Namenaktien zu Fr. 1'000.--. Ihr Zweck bestand gemäss Handelsregisterauszug in "Kauf, Verkauf, Erstellung und Vermietung von Liegenschaften, insbesondere Erwerb des hypothekenfreien Grundstückes Kat. Nr. ... im Halte von 3950 m2 Wiese, gemäss öffentlich beurkundetem Kaufvertrag vom 17. Januar 1962 zum Kaufpreise von Fr. 39'500.--, der bar beglichen wird".
Mit Statutenänderung vom 18. Dezember 2008 gab sich die Gesellschaft ihre heutige Firma, passte ihren Zweck an und verlegte den Sitz nach B._/SG. Diese Änderungen wurden am 11. März 2009 ins Handelsregister eingetragen.
A.b Mit Kaufvertrag vom 9. April 1985 erwarben Z._, W._ und V._ per 1. Juli 1985 sämtliche Aktien der Gesellschaft. Das kantonale Steueramt St. Gallen (nachfolgend: Steueramt) qualifizierte dieses Kaufgeschäft als wirtschaftliche Handänderung, da die Aktiven der Gesellschaft praktisch ausschliesslich aus der Liegenschaft Nr. ..., C._/SG bestanden, und unterwarf die Transaktion der Grundstückgewinnsteuer. Dabei ging es von einem Kaufpreis für die Liegenschaft von Fr. 1'643'400.--, sich ergebend aus dem Kaufpreis für die Aktien von Fr. 900'000.-- zuzüglich Gesellschaftsschulden von Fr. 750'000.-- und abzüglich bilanzierte nichtliegenschaftliche Werte von Fr. 6'600.--, sowie von Anlagekosten von Fr. 941'400.-- aus. Dementsprechend veranlagte das Steueramt am 17. Juli 1985 einen Grundstückgewinn von Fr. 702'000.--.
Mit Vertrag vom 9. September 1985 erwarb U._ rückwirkend per 1. Juli 1985 42 Aktien der Gesellschaft sowie per 17. Dezember 1986 die restlichen 8 Aktien. Auf dieser Transaktion wurde keine Grundstückgewinnsteuer erhoben.
A.c Am 1. Juli 2005 veräusserte die Gesellschaft das Grundstück Nr. ..., C._/SG zum Preis von Fr. 3'150'000.--. Nach Abzug des Buchwerts der Liegenschaft von dannzumal Fr. 665'328.-- und den verbuchten ertragsmindernden Kosten für den Verkauf von total Fr. 125'748.45 wies die Gesellschaft in der Erfolgsrechnung 2005 einen Ertrag aus der Veräusserung der Liegenschaft in Höhe von Fr. 2'358'923.55 aus. Gemäss Jahresrechnung belief sich der Reingewinn der Gesellschaft für das Jahr 2005 auf Fr. 1'921'496.08.
B. Für die Staatssteuern machte die Gesellschaft im Hinblick auf die Berechnung des steuerbaren Gewinns zusätzliche "Anlagekosten" von Fr. 1'615'810.-- geltend und deklarierte demgemäss einen steuerbaren Reingewinn von Fr. 305'686.--. Das Steueramt akzeptierte die zusätzlichen Kosten nicht, brachte jedoch bei den Staatssteuern den bereits im Jahr 1985 versteuerten Grundstückgewinn von Fr. 702'000.-- vom Reingewinn gemäss Erfolgsrechnung in Abzug. Überdies nahm sie Aufrechnungen betreffend eine ausgerichtete Provision sowie verbuchte Barauslagen vor, was zu einem steuerbaren Gewinn für die Staatssteuer von Fr. 1'248'100.-- führte. Die gegen diese Veranlagung erhobene Einsprache wies das Steueramt am 21. April 2010 ab.
Die Verwaltungsrekurskommission des Kantons St. Gallen hiess den Rekurs der X._ AG am 18. August 2011 teilweise gut, indem sie weitere Barauslagen von Fr. 12'600.-- zum Abzug zuliess und den steuerbaren Reingewinn der Gesellschaft für das Jahr 2005 auf (abgerundet) Fr. 1'235'000.-- festsetzte. Auf den gleichzeitig erhobenen Rekurs von U._ trat sie mangels Beschwerdelegitimation nicht ein.
Die gegen den Rekursentscheid betreffend Staatssteuern 2005 erhobene Verwaltungsgerichtsbeschwerde der X._ AG und von U._ wies das Verwaltungsgericht des Kantons St. Gallen am 20. März 2012 ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 20. April 2012 beantragt die X._ AG dem Bundesgericht, der Entscheid des Verwaltungsgerichts vom 20. März 2012 sei aufzuheben und es sei eine neue Veranlagungsverfügung und Schlussrechnung zu erlassen, die von einem steuerbaren Reingewinn von Fr. 1'046'455.-- ausgehe. Die Steuerberechnung sei in jedem Fall aufgrund des am 1. Januar 2009 geltenden Steuersatzes für Reingewinn von 3,75 % und 0,02 o/oo vom Eigenkapital, soweit dieses wegen der Anrechnung der Gewinnsteuer überhaupt in Betracht falle, und zum Steuerfuss von 315 % vorzunehmen.
Das Steueramt und das Verwaltungsgericht des Kantons St. Gallen schliessen auf Abweisung der Beschwerde; die Eidgenössische Steuerverwaltung verzichtet auf einen Antrag.
Die X._ AG repliziert mit Eingabe vom 2. Juli 2012 auf die Vernehmlassung des Steueramts.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Verwaltungsgericht des Kantons St. Gallen über die Staatssteuern ist zulässig (Art. 82 ff., Art. 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 73 des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden vom 14. Dezember 1990 [SR 642.14]). Die Beschwerdeführerin ist zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG).
1.2 Mit der Beschwerde kann nach Art. 95 lit. a BGG die Verletzung von Bundesrecht gerügt werden. Die Verletzung von kantonalem Recht bildet keinen eigenständigen Rügegrund. Das Bundesgericht prüft frei, ob die Auslegung und Anwendung des kantonalen Rechts im harmonisierten Bereich mit den bundesrechtlichen Vorschriften übereinstimmen. Wo das Bundesrecht den Kantonen einen Spielraum einräumt, ist die Kognition des Bundesgerichts auf Willkür beschränkt (BGE 134 II 207 E. 2 S. 210).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgelegt hat (Art. 105 Abs. 1 BGG). Die Sachverhaltsfeststellung der Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. Die Beschwerdeführerin rügt mehrfach eine Verletzung des rechtlichen Gehörs. Da der Anspruch auf Gewährung des rechtlichen Gehörs nach ständiger Rechtsprechung formeller Natur ist, ist diese Rüge vorweg zu prüfen (vgl. Urteil 2C_177/2012 vom 25. September 2012 E. 2.1).
2.1 Die Beschwerdeführerin macht geltend, die Vorinstanz habe sich nicht dazu geäussert, dass das Steuerharmonisierungsgesetz nach dem Erlass der streitigen Verfügung im Jahr 1985 in Kraft gesetzt worden sei, so dass sich die Beantwortung der Streitfragen in erster Linie aus dem Sinn und Geist dieses Gesetzes ergeben müsse.
Die urteilende Instanz hat sich zu den entscheidwesentlichen Fragen zu äussern. Die Beschwerdeführerin zeigt weder auf noch ist sonstwie ersichtlich, inwiefern die von ihr aufgeworfene Frage entscheidwesentlich sein sollte. Von einer Verletzung des rechtlichen Gehörs kann daher in diesem Zusammenhang keine Rede sein.
2.2 Die Beschwerdeführerin sieht im Weiteren eine Verletzung des rechtlichen Gehörs in der Auffassung der Vorinstanz, wonach die Beschwerdeführerin an die Grundstückgewinnsteuerveranlagung betreffend die wirtschaftliche Handänderung von 1985 gebunden sei. Diese Rüge geht insofern fehl, als die Vorinstanz gar keine direkten Folgen aus der Grundstückgewinnsteuerveranlagung zulasten der Beschwerdeführerin ableitet, sondern daraus, dass dieser im Jahr 1989 der - mit der genannten Veranlagung - besteuerte Wertzuwachs mitgeteilt und seither in der Steuerbilanz mitgeführt wurde (vgl. dazu E. 3.2.3 nachstehend). Die rechtliche Würdigung dieser Mitteilung durch die Vorinstanz stellt keine Verletzung des rechtlichen Gehörs dar.
2.3 Schliesslich macht die Beschwerdeführerin geltend, die Vorinstanz habe ohne materielle Prüfung den von ihr geltend gemachten Veräusserungserlös verworfen und auch nicht zu weiteren, ihrem Eventualbegehren zugrunde liegenden Einwänden Stellung genommen.
Diese Rüge geht ebenfalls fehl. Die Vorinstanz hat aufgezeigt, dass das Steueramt zu Recht lediglich den 1989 mitgeteilten Mehrwert berücksichtigt habe. Sie ist auf den von der Beschwerdeführerin geltend gemachten höheren Veräusserungserlös trotzdem eingegangen und hat ihn auch materiell verworfen. Es ist nicht ersichtlich, worin bei dieser Sachlage eine Gehörsverletzung liegen könnte. Angesichts des Umstands, dass die Beschwerdeführerin in der Beschwerde in anderem Kontext selbst ausführt, der nicht mehr umstrittene Veräusserungserlös betrage Fr. 1'643'400.--, muss die Rüge der Gehörsverletzung als trölerisch bezeichnet werden. Was zudem die angeblich nicht behandelten Einwände anbelangt, zeigt die Beschwerdeführerin in ihrer Beschwerde an das Bundesgericht weder auf, was ihrer Meinung nach unbehandelt blieb, noch inwiefern die Einwände entscheidwesentlich sein sollen.
3. In materieller Hinsicht ist umstritten, ob der steuerbare Gewinn aus der Veräusserung der Liegenschaft Nr. ..., C._/SG korrekt ermittelt worden ist.
3.1 Die Vorinstanz legt im angefochtenen Entscheid dar, dass bei der Veräusserung einer Liegenschaft durch eine Immobiliengesellschaft einer allfällig zuvor besteuerten wirtschaftlichen Handänderung, welche auf die Übertragung der Aktien zurückgeht, Rechnung getragen werden muss. Aus steuersystematischen Gründen müsse bei der zivilrechtlichen Handänderung - also dem Verkauf der Liegenschaft - der bereits besteuerte Wertzuwachs als versteuerte stille Reserve berücksichtigt werden. Diesen grundsätzlichen Erwägungen ist vollumfänglich zuzustimmen und es kann ergänzend auf den vorinstanzlichen Entscheid verwiesen werden.
3.2 Die Vorinstanz führt sodann aus, der Beschwerdeführerin sei eine versteuerte stille Reserve zugestanden worden.
3.2.1 Aus den Ausführungen der Beschwerdeführerin ergibt sich im Wesentlichen, dass sie von einer anderen Berechnung der stillen Reserve ausgeht, als dies das Steueramt getan hat. Einerseits macht sie geltend, der massgebliche Buchwert im Zeitpunkt der Besteuerung der wirtschaftlichen Handänderung habe Fr. 805'000.-- betragen und nicht Fr. 932'511.--. Andererseits will sie Aufwendungen der Alleinaktionärin beim Kauf der Aktienmehrheit im Umfang von Fr. 61'580.-- angerechnet wissen.
3.2.2 Die Berechnung der im Rahmen der wirtschaftlichen Handänderung besteuerten stillen Reserven gestaltet sich grundsätzlich wie folgt: Auszugehen ist vom Erlös, welcher der anlässlich der wirtschaftlichen Handänderung vorgenommenen Veranlagung zugrunde liegt. Dabei sind einerseits der Aktienkaufpreis und weitere Leistungen des Käufers, wie beispielsweise die Übernahme der in der Gesellschaft bestehenden Schulden, zusammenzurechnen; andererseits sind die nichtliegenschaftlichen Werte in Abzug zu bringen. Die Differenz zwischen dem so berechneten Veräusserungspreis für die Liegenschaft und deren Buchwert in der Gesellschaft stellt die besteuerte stille Reserve dar.
3.2.3 Vorliegend ist das Steueramt grundsätzlich nach diesem Berechnungsschema vorgegangen, wobei es bei der Ermittlung des für die Steuerbilanz zugrunde zu legenden Werts vom besteuerten Gewinn ausging und daher zusätzlich Handänderungsspesen im Betrag von Fr. 8'889.-- zugrunde legte. Abgesehen davon, dass dieser Umstand von der Beschwerdeführerin nicht gerügt wird, kann er im heutigen Zeitpunkt nicht mehr berücksichtigt werden. Massgebend ist, dass der steuerliche Mehrwert in die Berechnung für die Steuerveranlagung vom 15. November 1989 eingeflossen ist und seither in der Steuerbilanz mitgeführt wurde, wovon die Beschwerdeführerin unbestrittenermassen Kenntnis hatte. Die Vorinstanz hat daraus, dass der fragliche Wert der Beschwerdeführerin mitgeteilt und von ihr während all den Jahren bis zur Liegenschaftsveräusserung akzeptiert sowie den Steuerveranlagungen zugrunde gelegt wurde, zu Recht geschlossen, die Beschwerdeführerin müsse sich dabei behaften lassen. Angesichts der konkreten Umstände ist der Schluss der Vorinstanz, es sei abwegig, mehr als 20 Jahre nach der besteuerten wirtschaftlichen Handänderung den auf die Liegenschaft entfallenden Erlös in Frage zu stellen, um einen höheren versteuerten Mehrwert geltend zu machen, nicht zu beanstanden. Aus diesen Gründen kann im vorliegenden Verfahren auch nicht mehr auf die Bestimmung des für die Berechnung der besteuerten stillen Reserve massgeblichen Buchwerts eingegangen werden. Massgebend ist einzig der seinerzeit der Beschwerdeführerin mitgeteilte und von dieser akzeptierte Wert. Daran vermögen die weitschweifigen Ausführungen der Beschwerdeführerin, die zu diesem - für den Entscheid wesentlichen - Punkt bloss am Rand Stellung nehmen, nichts zu ändern.
3.3 Nachdem der von den Steuerbehörden der Beschwerdeführerin im Jahr 1989 mitgeteilte besteuerte Mehrwert bei der Berechnung des aus der Veräusserung der Liegenschaft erzielten steuerbaren Gewinns berücksichtigt wurde, kann dem Antrag der Beschwerdeführerin auf Korrektur der Gewinnberechnung nicht gefolgt werden.
4. Die Beschwerdeführerin vertritt sodann den Standpunkt, für die Steuerberechnung seien nicht die bei der Entstehung der Steuerforderung im Jahr 2005, sondern die beim Abschluss des Veranlagungsverfahrens im Jahr 2010 geltenden Steuersätze bzw. der entsprechende Steuerfuss heranzuziehen.
Die Auffassung der Beschwerdeführerin ist unzutreffend. Die Vorinstanz hat zu Recht erwogen, dass gemäss Art. 102 Abs. 1 des Steuergesetzes des Kantons St. Gallen vom 9. April 1998 (sGS 811.1) die am Ende der (jeweiligen) Steuerperiode geltenden Steuersätze und Steuerfüsse anwendbar sind. Vorliegend geht es um die Veranlagung der für 2005 geschuldeten Steuern, so dass bei deren Berechnung die für dieses Steuerjahr geltenden Steuersätze und der jeweilige Steuerfuss zur Anwendung kommen. Die Festlegung der Steuersätze und des Steuerfusses erfolgt jeweils in Bezug auf die für das entsprechende Jahr geschuldeten Steuern. Der Zeitpunkt der Veranlagung, der Fälligkeit oder gar der Bezahlung dieser Steuern ist dagegen irrelevant. Daran vermögen die Ausführungen der Beschwerdeführerin nichts zu ändern. Insbesondere ist nicht ersichtlich, inwiefern diese vom Gesetzgeber - nicht nur im Kanton St. Gallen, sondern allgemein - getroffene Regelung den von der Beschwerdeführerin angerufenen Verfassungsbestimmungen (Art. 8 Abs. 1, Art. 9, Art. 29 Abs. 1, Art. 36 und Art. 127 Abs. 1 und 2 BV) verletzen würde.
5. Die Beschwerde ist demnach abzuweisen. Die Kosten des bundesgerichtlichen Verfahrens sind der Beschwerdeführerin aufzuerlegen (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'500.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 10. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner