Sachverhalt:
A. A.a Der 1979 geborene R._ arbeitete ab August 2000 als ungelernter Bauarbeiter bei der M._ AG. Er meldete sich am 30. April 2004 wegen Hüftbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Er litt unter einer Frühcoxarthrose bei femoroacetabulärem Impingement links, weshalb an der orthopädischen Klinik X._ eine chirurgische Hüftgelenksluxation durchgeführt wurde. Die Sozialversicherungsanstalt des Kantons Zürich (IV-Stelle) klärte die medizinischen und erwerblichen Verhältnisse ab und verneinte das Leistungsbegehren mit Verfügung vom 19. November 2004. Diese blieb unangefochten. Ab 1. Januar 2005 arbeitete der Versicherte als Hauswart.
A.b Am 23. November 2007 meldete sich R._ erneut bei der Invalidenversicherung an und machte eine Verschlechterung seines Gesundheitszustandes geltend. Die IV-Stelle holte einen Arbeitgeberbericht und Zeugnisse der behandelnden Ärzte ein und liess den Versicherten im ärztlichen Zentrum Y._ bidisziplinär orthopädisch/psychiatrisch begutachten (Expertise vom 11. Januar 2010). Mit Verfügung vom 1. Oktober 2010 lehnte sie einen Leistungsanspruch erneut ab.
B. Mittels Beschwerde beantragte R._ ab Juli 2008 eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 50 %. Das Sozialversicherungsgericht des Kantons Zürich hiess die Beschwerde in dem Sinne teilweise gut, als es feststellte, der Versicherte habe ab 1. November 2008 Anspruch auf eine halbe Invalidenrente (Entscheid vom 26. Januar 2012).
C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheides sei die Sache betreffend Beginn des Rentenanspruchs zur Neubeurteilung an die Vorinstanz, eventuell an die IV-Stelle zurückzuweisen. Subeventuell sei der Beginn des Anspruchs auf eine halbe Invalidenrente auf den 1. Juli 2008 anzusetzen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2 Die unvollständige Feststellung der rechtserheblichen Tatsachen sowie die Nichtbeachtung des Untersuchungsgrundsatzes nach <ref-law> durch das kantonale Versicherungsgericht stellen eine Verletzung von Bundesrecht nach <ref-law> dar (Urteil 9C_802/2008 vom 22. Dezember 2008 E. 1.1 mit Hinweisen). Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke (antizipierte Beweiswürdigung; Urteil 9C_561/2007 vom 11. März 2008 E. 5.2.1) im Besonderen verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteil 9C_410/2008 vom 8. September 2008 E. 3.3.1 mit Hinweisen). Im Übrigen ist die Sachverhaltsfeststellung der Vorinstanz für das Bundesgericht verbindlich, wenn sie nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Die konkrete Beweiswürdigung ist wie die darauf beruhende Sachverhaltsfeststellung ebenfalls nur unter diesem eingeschränkten Blickwinkel überprüfbar (Urteil 9C_801/2008 vom 6. Januar 2009 E. 2.2). Demgegenüber ist die richtige Anwendung der Beweiswürdigungsregeln durch das kantonale Versicherungsgericht nach <ref-law> eine Rechtsfrage und als solche im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei zu prüfen (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_323/2009 vom 14. Juli 2009 E. 3).
2. Streitig und zu prüfen ist der Rentenbeginn. Unbestritten ist dagegen der Anspruch des Versicherten auf eine halbe Rente der Invalidenversicherung.
3. 3.1 Im angefochtenen Entscheid werden die zur Beurteilung des streitigen Leistungsanspruchs massgebenden gesetzlichen Grundlagen und die dazu ergangene Rechtsprechung zutreffend dargelegt, worauf verwiesen wird.
3.2 Zu betonen bleibt, dass unter relevanter Arbeitsunfähigkeit im Sinne von <ref-law> eine Einbusse an funktionellem Leistungsvermögen im bisherigen Beruf oder Aufgabenbereich zu verstehen ist. Das heisst, es muss arbeitsrechtlich in Erscheinung treten, dass die versicherte Person an Leistungsvermögen eingebüsst hat, so etwa durch einen Abfall der Leistungen mit entsprechender Feststellung oder gar Ermahnung des Arbeitgebers oder durch gehäufte, aus dem Rahmen fallende gesundheitlich bedingte Arbeitsausfälle. Mit anderen Worten: Die Leistungseinbusse muss in aller Regel dem seinerzeitigen Arbeitgeber aufgefallen sein. Eine erst nach Jahren rückwirkend festgelegte medizinisch-theoretische Arbeitsunfähigkeit genügt nicht (SVR 2008 IV Nr. 11 S. 32, I 687/06 E. 5.1; E. 4.2 des in SZS 2003 S. 434 zusammengefassten Urteils B 13/01 vom 5. Februar 2003). Umgekehrt ist eine in der beruflichen Tätigkeit im Vergleich zu einer gesunden Person tatsächlich nur reduziert erbrachte Leistung für sich allein gesehen in aller Regel ebenso wenig ausreichend für die Bejahung einer Arbeitsunfähigkeit im Sinne des Gesetzes. Vielmehr bedarf es dazu regelmässig zusätzlich einer (überzeugenden) medizinischen Einschätzung, die ordentlicherweise echtzeitlicher Natur ist (SVR 2010 IV Nr. 17, 8C_195/2009 E. 5). Der Zeitpunkt des Eintritts der Arbeitsunfähigkeit muss mit dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b S. 360 mit Hinweisen) nachgewiesen sein. Dieser Nachweis darf nicht durch nachträgliche erwerbliche oder medizinische Annahmen und spekulative Überlegungen ersetzt werden (Urteil 8C_652/2011 vom 17. Mai 2011 mit Hinweisen).
4. Die Frage nach dem Zeitpunkt des Eintritts der (invalidisierenden) Arbeitsunfähigkeit ist als Tatfrage zu qualifizieren (Urteil 8C_666/2009 vom 19. März 2010 E. 3 mit Hinweisen), weshalb diesbezügliche Feststellungen des kantonalen Gerichts letztinstanzlich nur unter eingeschränktem Blickwinkel überprüfbar sind, soweit sie auf einer Würdigung konkreter Umstände beruhen (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG; SVR 2008 BVG Nr. 34 S. 143, 9C_127/2008 E. 2.2 mit Hinweisen). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Als Rechtsfragen zu prüfen sind dagegen die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> (Urteil 9C_950/2008 vom 18. März 2009 E. 3.1 mit Hinweisen).
4.1 Die Vorinstanz stellte mit angefochtenem Entscheid in tatsächlicher Hinsicht fest, mit der Neuanmeldung und der Auflage der entsprechenden medizinischen Berichte, welche sich in quantitativer Hinsicht erst durch das Gutachten des ärztlichen Zentrums Y._ genau bestätigen liessen, sei der Zeitpunkt des Eintritts der Arbeitsunfähigkeit ärztlich ausgewiesen. Hingegen finde sich für die Annahme des Beginns des Wartejahres am 1. Juli 2007 in den Akten keine Stütze. Zwar gäbe es Hinweise dafür, dass der Beschwerdeführer den Anforderungen in seiner Stelle als Hauswart aus gesundheitlichen Gründen nicht mehr genügt habe. Indessen würden die behandelnden Ärzte keinen Eintritt der entsprechenden andauernden Arbeitsunfähigkeit im Laufe des Jahres bestätigen. Da sich der exakte Zeitpunkt der Verschlechterung des Gesundheitszustandes und der damit einhergehenden Arbeitsunfähigkeit nicht eindeutig nachweisen lasse, sei erst ab der Bestätigung vom November 2007 davon auszugehen. Aufgrund der klaren medizinischen Aktenlage sei von der Einholung weiterer medizinischer Angaben abzusehen.
4.2 Der Beschwerdeführer rügt eine unvollständige Feststellung des Sachverhalts und eine Verletzung des Untersuchungsgrundsatzes. Die Gutachter des ärztlichen Zentrums Y._ hätten sich nicht zum Beginn der Einschränkung der Arbeitsfähigkeit geäussert, obwohl sie ausdrücklich dazu beauftragt worden seien. Das Gutachten sei daher diesbezüglich unvollständig. Er weist zudem auf weitere, vom kantonalen Gericht nicht beachtete medizinische Akten hin, welche belegten, dass er bereits ab Juli 2007 in seiner Arbeitsfähigkeit eingeschränkt gewesen sei. Zumindest hätten die entsprechenden Aktenstücke Anlass für weitere Abklärungen über den Zeitpunkt des Eintritts der gesundheitlichen Verschlechterung bieten sollen. Von einer Beweislosigkeit dürfe nicht ausgegangen werden, solange gar kein Versuch zur vollständigen Sachverhaltsabklärung unternommen worden sei.
5. Tatsächlich erscheinen die vorinstanzlichen Erwägungen insofern als widersprüchlich, als einerseits festgestellt wird, der exakte Zeitpunkt der Verschlechterung des Gesundheitszustandes lasse sich nicht eindeutig nachweisen und andererseits von einer "klaren medizinischen Aktenlage" gesprochen wird, weshalb von der Einholung weiterer medizinischer Angaben abzusehen sei. Wie dargelegt (Erwägung 1.2), stellt die Verletzung des Untersuchungsgrundsatzes, namentlich das Abstellen auf unvollständige Beweisgrundlagen eine Rechtsverletzung dar. Dem kantonalen Gericht ist zwar insofern beizupflichten, als die vorhandenen medizinischen Akten keine zuverlässige Aussage über den Beginn der eingeschränkten Arbeitsfähigkeit erlauben. Indessen bestehen zahlreiche Indizien dafür, dass die Aktenlage unvollständig ist. Die ehemalige Arbeitgeberin des Beschwerdeführers, die S._ AG, führte im Fragebogen für Arbeitgebende vom 16. Mai 2008 aus, das Arbeitsverhältnis mit dem Versicherten sei auf den 30. Juni 2007 aufgelöst worden, weil er wegen Krankheit die schwere Hauswartarbeit nicht mehr habe ausführen können. Der Zusammenstellung der Absenzen lässt sich entnehmen, dass seit dem 18. Januar 2007 - mit Ausnahme des Zeitraums vom 9. bis 17. Mai 2007 - bis zum letzten Arbeitstag vor Beendigung des Arbeitsverhältnisses am 15. Juni 2007 immer zumindest eine 50%ige Arbeitsunfähigkeit wegen Krankheit attestiert worden war. In Nachachtung des Untersuchungsgrundsatzes hätten die entsprechenden Echtzeitzeugnisse zu den Akten genommen werden können. Zudem hätte der damals behandelnde Arzt befragt werden können. Schliesslich ist dem Austrittsbericht der Rehabilitationsklinik Z._ vom 31. Dezember 2008 zu entnehmen, dass der Beschwerdeführer im Jahre 2007 wegen der bekannten Leistenschmerzen mit linksseitiger Ausstrahlung in einer vierwöchigen Rehabilitationsbehandlung in C._ weilte. In korrekter Abklärung des Sachverhaltes hätte auch von dieser Behandlung ein Bericht eingeholt werden müssen. Erst wenn sich nach vollständiger und umfassender Abklärung und Auseinandersetzung mit den zu beschaffenden medizinischen Akten der exakte Zeitpunkt der Verschlechterung des Gesundheitszustandes und der damit einhergehenden Arbeitsunfähigkeit nicht eindeutig nachweisen lässt, kann mit der Vorinstanz davon ausgegangen werden, dass dieser auf November 2007 fällt. Die Sache ist daher an die IV-Stelle zurückzuweisen, damit sie in Anwendung des Untersuchungsgrundsatzes die notwendigen Abklärungen darüber trifft, ob der Beginn der Arbeitsunfähigkeit vor November 2007 anzusetzen ist.
6. Dem Verfahrensausgang entsprechend hat die unterliegende IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Versicherten eine Parteientschädigung zu bezahlen (Art. 66 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 26. Januar 2012 wird aufgehoben, soweit damit der Beginn des Anspruchs auf eine halbe Rente auf den 1. November 2008 festgesetzt wurde. Die Sache wird an die Beschwerdegegnerin zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Beginn des Leistungsanspruchs des Beschwerdeführers neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Juli 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer