Sachverhalt:
A. Der 1951 geborene D._ arbeitete bis am 23. April 2004 als Maurer bei der Firma W._ AG und meldete sich am 31. August 2004 wegen diverser, vor allem rheumatologischer Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die Sozialversicherungsanstalt des Kantons St. Gallen, IV-Stelle, holte verschiedene Arztberichte ein und liess den Versicherten bei der Medas polydisziplinär abklären. Gestützt auf das Gutachten vom 7. April 2006 verneinte die IV-Stelle mit Verfügung vom 9. Juni 2006 einen Anspruch des D._ auf eine Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades. Daran hielt sie auf Einsprache hin fest (Entscheid vom 27. November 2006).
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 25. Juni 2008 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheides sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen, eventuell sei ihm ab 1. September 2005 eine Dreiviertelsrente zuzusprechen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht, Völkerrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a-c BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben (ausser wenn sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung richtet; <ref-law>). Zur auch unter der Geltung des BGG massgebenden Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung wird auf <ref-ruling> verwiesen.
2. Streitig ist der Anspruch auf eine Rente der Invalidenversicherung. Die relevanten Bestimmungen und Grundsätze sind im angefochtenen Entscheid und im Einspracheentscheid vom 27. November 2006 zutreffend dargelegt. Es betrifft dies die Regelung des Rentenanspruchs nach Massgabe des Invaliditätsgrades (<ref-law>), die Invaliditätsbemessung bei erwerbstätigen Versicherten mittels Einkommensvergleich (<ref-law>) und die Rechtsprechung zur Vornahme eines Abzugs von den statistischen Werten bei der Bemessung des Invalideneinkommens (<ref-ruling>). Darauf wird verwiesen. Anzufügen bleibt, dass die im Rahmen der 5. IV-Revision Anfang Januar 2008 in Kraft getretenen Rechtsänderungen hier intertemporalrechtlich nicht anwendbar sind.
3. 3.1 Das kantonale Gericht gelangte zur Erkenntnis, aufgrund multipler rheumatologischer Beschwerden könnten körperlich schwere Arbeiten, wie die bisherige eines Bauarbeiters und Hilfsmaurers, nicht mehr ausgeübt werden. Körperlich leichte Tätigkeiten mit wechselnd belastenden und nur gelegentlich mit mittelschweren Arbeiten seien hingegen voll zumutbar. Dabei bestehe aus psychischen Gründen eine 20 %ige Einschränkung in der Arbeitsfähigkeit.
3.2 Diese Sachverhaltsfeststellung beruht auf einer sorgfältigen Würdigung der medizinischen Akten. Sie ist weder offensichtlich unrichtig noch beruht sie auf einer Rechtsverletzung im Sinne von <ref-law>.
Was in der Beschwerde vorgebracht wird, führt zu keiner anderen Betrachtungsweise. Es wird geltend gemacht, die Arbeitsfähigkeit sei aufgrund des psychischen Gesundheitszustandes um mindestens 50 % eingeschränkt. Der Beschwerdeführer beruft sich dabei insbesondere auf die Einschätzung des Dr. med. K._, Facharzt für Psychiatrie und Psychotherapie FMH, Chefarzt der Klinik T._, vom 19. Februar 2007. Das kantonale Gericht habe zu Unrecht nicht auf diese Einschätzung abgestellt. Die Vorinstanz hat indessen eingehend dargelegt, weshalb sie - insbesondere gestützt auf das Medas-Gutachten vom 7. April 2006 - die Einschränkung auf 20 % beziffert. Dabei wird im angefochtenen Entscheid diese Expertise gleichermassen wie diejenige des Dr. med. K._ und auch die Berichte des behandelnden Psychiaters Dr. med. S._ sowie des Hausarztes Dr. med. V._ in einer im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstandenen Weise gewürdigt. Das kantonale Gericht hat dabei ausgeführt, die psychiatrische Exploration könne von der Natur der Sache her nicht ermessensfrei erfolgen, wobei dem begutachenden Psychiater praktisch immer ein gewisser Spielraum offen liege, innerhalb dessen verschiedene medizinisch-psychiatrische Interpretationen möglich, zulässig und zu respektieren seien, solange der Experte lege artis vorgehe. Konkret seien die Verhältnisse bis zum Erlass des angefochtenen Entscheids zu prüfen. Im Gutachten vom 19. Februar 2007 werde von einer Verschlechterung des Zustandes in den letzten Monaten berichtet. Aufgrund der zeitlichen Prüfungsgrenze bis zum Erlass des Einspracheentscheides im November 2006 könnten allfällige gemäss Gutachten des Dr. med K._ veränderte Umstände aber im vorliegenden Verfahren nicht berücksichtigt werden. Diese Würdigung ist angesichts der in jenem Gutachten gestellten Diagnose einer rezidivierenden depressiven Störung, gegenwärtig mittelgradige Episode mit somatischen Symptomen (ICD-10: F33.11), nicht zu beanstanden. Es liegt gerade in der Natur dieser Krankheit, dass kurzfristige Veränderungen festzustellen sind. Der Umstand, dass Dr. med. S._ bereits im Februar 2006 die genau gleiche Diagnose (ICD-10: F33.11) gestellt hatte wie Dr. K._ im Februar 2007, zeigt, dass sich der Gesundheitszustand des Beschwerdeführers zwischen der Medas-Begutachtung im Februar 2006 und dem Erlass des Einspracheentscheides im November 2006 nicht wesentlich verschlechterte. Die Beurteilungen der Ärzte unterscheiden sich lediglich in der Gewichtung der ihres Erachtens durch ihre Diagnose begründeten Einschränkung in der Arbeitsfähigkeit. Das kantonale Gericht hat begründet, weshalb es jener im Medas-Gutachten folgt. Die entsprechende Tatsachenfeststellung des kantonalen Gerichts ist nicht rechtsfehlerhaft (E. 1.2). Schliesslich braucht auch den vorinstanzlichen Ausführungen, weshalb in der Arbeitsfähigkeitsschätzung des Dr. med. C._ im Medas-Gutachten, worin dieser bei einer Präsenz von 90-100 % eine 20 %ige Einschränkung annimmt, keine Widersprüchlichkeit ersichtlich sei, nichts hinzugefügt zu werden.
4. Für die Ermittlung des Invaliditätsgrades stellte das kantonale Gericht neben dem unbestritten gebliebenen Valideneinkommen auf die Tabellenlöhne der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebung (LSE) ab. Diese Ermittlung hat das kantonale Gericht entgegen den Einwendungen in der Beschwerde ohne Verletzung von Bundesrecht vorgenommen. Es wird auf die entsprechenden Ausführungen verwiesen, zumal keine von der Vorinstanz nicht bereits entkräftete Vorbringen erhoben werden.
5. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. April 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Schüpfer