Sachverhalt:
A. A.a Mit Verfügung vom 6. September 2004 sprach die IV-Stelle des Kantons St. Gallen dem 1963 geborenen M._ wegen lumbaler Beschwerden bei einem Invaliditätsgrad von 66 % eine Dreiviertelsrente zu.
A.b Im Juni 2006 wurde ein Revisionsverfahren eingeleitet. Nach Einholung mehrerer Arztberichte und eines Gutachtens des Medizinischen Gutachtenzentrums X._ vom 2. Juli 2007 setzte die IV-Stelle mit Verfügung vom 10. April 2008 die bisherige Dreiviertelsrente ab 1. Juni 2008 auf eine halbe Rente herab, ausgehend von einem Invaliditätsgrad von 56 %.
B. Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 25. November 2009 ab.
C. Mit Beschwerde lässt M._ die Aufhebung des vorinstanzlichen Entscheides und die Ausrichtung einer ganzen Invalidenrente seit Juni 2006 beantragen. Eventualiter sei über Juni 2008 hinaus eine Dreiviertelsrente zuzusprechen, und subeventualiter sei die Angelegenheit zur Vornahme weiterer Abklärungen an die IV-Stelle zurückzuweisen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Diese gesetzliche Kognitionsbeschränkung in tatsächlicher Hinsicht gilt namentlich für die Einschätzung der gesundheitlichen und leistungsmässigen Verhältnisse (<ref-law>), wie sie sich im revisionsrechtlich massgebenden Vergleichszeitraum entwickelt haben (Urteil des Eidg. Versicherungsgerichts I 692/06 vom 19. Dezember 2006 E. 3.1).
2. Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen (<ref-ruling> E. 3.5 S. 349 mit Hinweisen). Liegt eine erhebliche Änderung des Sachverhalts vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig, d.h. unter Berücksichtigung des gesamten für die Leistungsberechtigung ausschlaggebenden Tatsachenspektrums und ohne Bindung an die ursprüngliche Rentenverfügung, zu prüfen (<ref-ruling> E. 4b S. 200; SVR 2004 IV Nr. 17 S. 53, I 526/02 E. 2.3; vgl. auch <ref-ruling> E. 3.4 S. 259, 125 V 413 E. 2d S. 417 f.; AHI 2002 S. 164, I 652/00 E. 2a).
3. Streitig und zu prüfen ist, ob sich die tatsächlichen Verhältnisse zwischen der rechtskräftigen Verfügung vom 6. September 2004 (Zusprechung einer auf einem Invaliditätsgrad von 66 % basierenden Rente) und dem Erlass der Verfügung vom 10. April 2008 (Reduktion des Invaliditätsgrades auf 56 %) in einem für den Rentenanspruch erheblichen Ausmass verändert haben.
4. 4.1 Das kantonale Gericht hielt in Würdigung der medizinischen Akten und gestützt auf das Gutachten des Medizinischen Gutachtenzentrums X._ vom 2. Juli 2007 fest, im Vergleichszeitraum sei es zu einer Verschlechterung der gesundheitlichen Situation mit einer Verringerung der zumutbaren Arbeitsfähigkeit in einer angepassten Tätigkeit von 70 auf 60 % gekommen.
4.2 Mit Verweis auf den Bericht der behandelnden Psychiater vom Psychiatrie-Zentrum Y._ vom 2. November 2007 bringt der Beschwerdeführer vor, die Arbeitsfähigkeit betrage höchstens 50 %. Diesem Einwand kann nicht gefolgt werden. Die im Gutachten des Medizinischen Gutachtenzentrums X._ vom 2. Juli 2007 bescheinigte Arbeitsunfähigkeit von 40 % beruhte auf einer diagnostizierten leichten depressiven Episode (ICD-10 F32.0) und einer Panikstörung (ICD-10 F41.0). Die Panikattacken, welche die behandelnden Psychiater erwähnten, waren damit im Gutachten bereits mitberücksichtigt. Hätten die Gutachter ihrer Arbeitsunfähigkeitsbeurteilung die zum Untersuchungszeitpunkt lediglich vorhandene leichtgradig ausgeprägte depressive Symptomatik zugrunde gelegt, wäre die von ihnen bescheinigte Arbeitsunfähigkeit von 40 % offensichtlich zu hoch bemessen gewesen. Soweit die Vorinstanz in Würdigung der medizinischen Unterlagen dem im Rahmen des Revisionsverfahrens eingeholten Gutachten des Medizinischen Gutachtenzentrums X._ folgte, liegt daher keine offensichtlich unrichtige Sachverhaltsfeststellung oder eine Verletzung von Bundesrecht vor. Auf weitere medizinische Abklärungen kann somit in antizipierter Beweiswürdigung verzichtet werden.
5. 5.1 Die Vorinstanz erwog, im Vergleichszeitraum habe auch in erwerblicher Hinsicht eine wesentliche Änderung der tatsächlichen Verhältnisse stattgefunden. Dem Beschwerdeführer sei die langjährige Anstellung auf Ende 2005 gekündigt worden, worauf er eine Tätigkeit als Haushandwerker im Umfang von 30-40 % bzw. 25 % aufgenommen habe. In Anbetracht des Pensums sei anzunehmen, dass er die medizinisch zumutbare Arbeitsfähigkeit nicht ausschöpfe, weshalb zur Bestimmung des Invalideneinkommens statistische Werte (Tabellenlöhne) beizuziehen seien. Dies ergebe unter Berücksichtigung eines Abzugs von 10 % vom Tabellenlohn und der verbliebenen Arbeitsfähigkeit von 60 % ein massgebliches Invalideneinkommen von Fr. 33'048.-, welches einem Valideneinkommen von Fr. 70'076.- gegenüberstehe. Damit resultiere ein Invaliditätsgrad von noch 53 %.
5.2 Der Beschwerdeführer verlor aus wirtschaftlichen Gründen per Ende 2005 die bisherige Arbeitsstelle als Lagerist, auf welcher das Invalideneinkommen bei Rentenzusprache vom 6. September 2004 beruhte. Damit trat eine wesentliche Änderung der tatsächlichen Verhältnisse ein, welche eine Neubeurteilung des Invaliditätsgrades zur Folge hatte. Dabei sind alle Bemessungselemente, ohne Bindung an die bisherige Rentenbeurteilung neu zu prüfen (vgl. E. 2 hievor).
5.3 Am 1. Oktober 2006 nahm der Beschwerdeführer gemäss Arbeitsvertrag vom 25. September 2006 eine Tätigkeit als Hausmeister im Umfang von 25 % auf. Nach Angaben der Hausärztin Dr. med. B._ betrage das Pensum dort zwischen 30 und 40 %.
Für die Festsetzung des trotz unfallbedingter Behinderung realisierbaren Verdienstes (Invalideneinkommen) ist nach der Rechtsprechung zwar primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Übt diese nach Eintritt der Invalidität eine Erwerbstätigkeit aus, bei der - kumulativ - besonders stabile Arbeitsverhältnisse gegeben sind und anzunehmen ist, dass sie die ihr verbliebene Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft, und erscheint zudem das Einkommen angesichts der Arbeitsleistung als angemessen und nicht als Soziallohn, gilt grundsätzlich der tatsächlich erzielte Verdienst als Invalidenlohn. Ist kein solches tatsächlich erzieltes Erwerbseinkommen vorhanden, namentlich weil die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat, können nach der Rechtsprechung Tabellenlöhne oder DAP-Zahlen herangezogen werden (<ref-ruling> E. 5.2 S. 301, 129 V 472 E. 4.2.1 S. 475).
Wenn die Vorinstanz daher festhielt, der Beschwerdeführer schöpfe in Anbetracht seines Arbeitspensums von 30 bis 40 % bzw. von 25 % die medizinisch zumutbare Arbeitsfähigkeit nicht aus, so ist dies unter Berücksichtigung der massgeblichen Beurteilung der zumutbaren Arbeitsfähigkeit durch das Medizinische Gutachtenzentrum X._ nicht zu beanstanden. Der Beizug von Tabellenlöhnen gemäss der vom Bundesamt für Statistik periodisch durchgeführten Lohnstrukturerhebung (LSE-Tabellenlöhne) zur Bestimmung des Invalideneinkommens im vorinstanzlichen Entscheid erweist sich daher als rechtskonform.
5.4 Der Beschwerdeführer lässt einwenden, in Analogie zur Parallelisierung der Vergleichseinkommen bei deutlich unterdurchschnittlichem Valideneinkommen (<ref-ruling>) müsse das zuvor erzielte tiefe Invalideneinkommen als Lagerist als Vergleichseinkommen herangezogen werden. Damit solle verhindert werden, dass trotz Verschlechterung des Gesundheitszustandes der Invaliditätsgrad in Abhängigkeit vom Umstand sinke, dass die Arbeitsstelle gekündigt worden sei.
Diesen Vorbringen kann nicht gefolgt werden. Die genannte Rechtsprechung zur Parallelisierung der Vergleichseinkommen bezieht sich einzig auf die Berücksichtigung invaliditätsfremder Gesichtspunkte (wie z.B. geringe Schulbildung, fehlende berufliche Ausbildung, mangelnde Deutschkenntnisse) bei branchenunüblich tiefen Valideneinkommen (<ref-ruling> E. 5.1 S. 300, 134 V 322 E. 4.1 S. 325). Beim Invalideneinkommen ist nach den dargelegten Grundsätzen hingegen zu verlangen, dass der Versicherte die ihm verbliebene objektiv zumutbare Arbeitsfähigkeit voll ausschöpft, ansonsten Tabellenlöhne massgebend sind. Ein fortdauerndes Abstellen auf das bei der erstmaligen Rentenbeurteilung bestimmte Invalideneinkommen würde zudem einer allseitigen Überprüfung des Rentenanspruchs bei der Rentenrevision entgegenstehen. Die Beurteilung des Invaliditätsgrades durch das kantonale Gericht erweist sich daher nicht als bundesrechtswidrig. Die Beschwerde ist demgemäss abzuweisen.
6. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Juni 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner