Sachverhalt: Sachverhalt: A. L._, geboren 1953, kam im Jahre 1977 als Saisonnier in die Schweiz und arbeitete hier als Bauarbeiter. Nachdem er sich am 5. Mai 1988 einer Laminektomie unterziehen musste, meldete er sich am 17. Januar 1989 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Kommission des Kantons St. Gallen (heute: Sozialversicherungsanstalt des Kantons St. Gallen [SVA], IV-Stelle) holte in Abklärung der medizinischen Entscheidungsgrundlagen unter anderem Arztberichte ein und liess den Versicherten beim Zentrum X._ polydisziplinär untersuchen. Zusammenfassend stellten die Ärzte am 15. September 1989 die Diagnosen eines Lumbovertebralsyndroms bei Status nach Diskushernienoperation L4/L5 links und Spondylolyse L5 ohne Spondylolisthesis und einer abnormen seelischen Verarbeitung eines Eingriffs am Achsenskelett. Diese Diagnosen hätten Krankheitswert und einen Einfluss auf die Arbeitsfähigkeit. Es spielten viele invaliditätsfremde Momente eine grosse Rolle, man könnte am ehesten von einer psychosozialen Krankheit sprechen. In Bezug auf die Arbeitsfähigkeit attestierten die Gutachter eine 50%ige Einschränkung als Bauarbeiter, wobei sie einen ganztägigen Einsatz mit entsprechender Rückenschonung propagierten. Eine rückenangepasste Arbeit sei "vollschichtig zumutbar". Die Berufsberater der Invalidenversicherung erachteten L._ als nicht vermittelbar und schlugen vor, ihm eine Rente auszurichten (Bericht vom 4. Dezember 1989). Mit Verfügung vom 7. Juni 1990 wurde dem Versicherten ab März 1989 eine halbe Rente nebst Zusatzrenten für die Ehefrau und vier Kinder basierend auf einem Invaliditätsgrad von 50% zugesprochen. Die dagegen erhobene Beschwerde wurde wieder zurückgezogen. Die Ausrichtung der halben Invalidenrente wurde in der Folge wiederholt revisionsweise überprüft und bestätigt. Am 8. Mai 2000 ersuchte L._ seinerseits um eine Revision und die Ausrichtung einer ganzen Rente. Neben Berichten des behandelnden Hausarztes holte die Verwaltung bei der Institution Y._ ein Gutachten vom 26. September 2001 ein. Mit Verfügung vom 11. Oktober 2002 erläuterte die SVA dem Versicherten, dass sich sein Gesundheitszustand in den letzten Jahren nicht wesentlich verändert habe. Es sei ihm aus medizinischer Sicht eine körperlich leichte, angepasste Tätigkeit vollumfänglich zumutbar, wobei er Fr. 29'274.- verdienen könnte und eine Erwerbseinbusse von 50% hinnehmen müsste. Die hiegegen erhobene Beschwerde wurde zurückgezogen, nachdem die IV-Stelle in jenem Verfahren beantragt hatte, es sei festzustellen, dass L._ keinen Anspruch auf eine Invalidenrente habe. Die SVA des Kantons St. Gallen zog in der Folge mit Verwaltungsakt vom 28. Februar 2003 ihre ursprüngliche Verfügung vom 7. Juni 1990 in Wiedererwägung und stellte fest, es habe nie ein Anspruch auf eine Invalidenrente bestanden, sodass die Rentenzahlung per Ende des folgenden Monats eingestellt werde, und entzog einer allfälligen hiegegen gerichteten Einsprache die aufschiebende Wirkung. Auf Einsprache hin hielt sie am Verfügten fest und entzog auch einer allfälligen Beschwerde die aufschiebende Wirkung (Einspracheentscheid vom 31. März 2003). Die SVA des Kantons St. Gallen zog in der Folge mit Verwaltungsakt vom 28. Februar 2003 ihre ursprüngliche Verfügung vom 7. Juni 1990 in Wiedererwägung und stellte fest, es habe nie ein Anspruch auf eine Invalidenrente bestanden, sodass die Rentenzahlung per Ende des folgenden Monats eingestellt werde, und entzog einer allfälligen hiegegen gerichteten Einsprache die aufschiebende Wirkung. Auf Einsprache hin hielt sie am Verfügten fest und entzog auch einer allfälligen Beschwerde die aufschiebende Wirkung (Einspracheentscheid vom 31. März 2003). B. Das Versicherungsgericht des Kantons St. Gallen wies mit Entscheid vom 8. April 2004 die Beschwerde, womit die Weiterausrichtung einer halben Invalidenrente beantragt worden ist, ab, nachdem es mit Zwischenverfügung vom 11. Juni 2003 die aufschiebende Wirkung wieder hergestellt hatte. B. Das Versicherungsgericht des Kantons St. Gallen wies mit Entscheid vom 8. April 2004 die Beschwerde, womit die Weiterausrichtung einer halben Invalidenrente beantragt worden ist, ab, nachdem es mit Zwischenverfügung vom 11. Juni 2003 die aufschiebende Wirkung wieder hergestellt hatte. C. L._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des Entscheides vom 8. April 2004 sei ihm weiterhin mindestens eine halbe Invalidenrente auszurichten; eventuell sei eine umfassende neue Begutachtung anzuordnen. Während des Verfahrens sei die halbe Invalidenrente weiterhin auszurichten. Die SVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, wobei dieser die aufschiebende Wirkung zu entziehen sei, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt.