Sachverhalt: Sachverhalt: A. R._ (geb. 1952) arbeitete vom 9. Mai 1979 bis 31. Oktober 1994 bei der Firma Y._, Strassenbau-Tiefbau, und war im Rahmen der beruflichen Vorsorge bei der Vorsorgestiftung X._ (nachfolgend: X._) versichert. Ab Juni 1994 konnte er wegen Rückenbeschwerden seine Arbeit nicht mehr ausüben. Mit Verfügung vom 22. November 1996 sprach ihm die IV-Stelle des Kantons St. Gallen vom 1. Juni bis 31. August 1995 eine ganze Invalidenrente zu. Vom 28. August bis 29. September 1995 liess sie berufliche Abklärungen in der T._ durchführen. Anschliessend absolvierte R._ vom 1. November 1995 bis 31. Januar 1996 ein Arbeitstraining. Die Abklärungen der IV-Stelle ergaben, dass R._ in der angestammten Tätigkeit im Strassenbau nicht mehr arbeitsfähig, jedoch in der Lage war, eine angepasste Tätigkeit noch zu 100 % auszuüben. Daraufhin lehnte die IV-Stelle mit Verfügung vom 22. November 1996 bei einem Invaliditätsgrad von 19 % einen weiteren Rentenanspruch ab. Im Oktober 2002 meldete sich R._ wegen des Rückenleidens erneut zum Leistungsbezug bei der Invalidenversicherung an. Mit Verfügung vom 4. Dezember 2003 sprach ihm die IV-Stelle rückwirkend ab 1. Juli 2003 eine halbe Rente bei einem Invaliditätsgrad von 59 % zu. Am 23. September 2003 beantragte R._ gestützt auf den Entscheid der Invalidenversicherung von der X._ die Ausrichtung einer Invalidenrente. Dieses Begehren wies der Rückversicherer der X._ mit Schreiben vom 14. November und 23. Dezember 2003 ab. Am 23. September 2003 beantragte R._ gestützt auf den Entscheid der Invalidenversicherung von der X._ die Ausrichtung einer Invalidenrente. Dieses Begehren wies der Rückversicherer der X._ mit Schreiben vom 14. November und 23. Dezember 2003 ab. B. Die am 9. November 2005 eingereichte Klage gegen die X._, mit welcher R._ die Ausrichtung einer halben Invalidenrente rückwirkend ab 1. Juli 2003 beantragte, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. Oktober 2006 ab. B. Die am 9. November 2005 eingereichte Klage gegen die X._, mit welcher R._ die Ausrichtung einer halben Invalidenrente rückwirkend ab 1. Juli 2003 beantragte, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. Oktober 2006 ab. C. R._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die X._ zu verpflichten, ihm eine halbe Rente der beruflichen Vorsorge rückwirkend auf 1. Juli 2003 auszurichten, zuzüglich Verzugszinsen ab Klageerhebung. Die X._ schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Mit Eingabe vom 23. März 2007 lässt R._ zur Beschwerdeantwort eine Stellungnahme einreichen, wozu sich die X._ mit Eingabe vom 26. April 2007 äussert. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.