Sachverhalt:
A. Der 1973 geborene F._ war seit Lehrbeginn am 1. August 1992 bis 30. September 2000 bei der Bauunternehmung X._ AG (nachfolgend Firma) tätig, zunächst als Strassenbauer und zuletzt als Vorarbeiter. Dadurch war er bei der BVG-Sammelstiftung der Rentenanstalt (nachfolgend Stiftung) obligatorisch berufsvorsorgeversichert. Nachdem die IV-Stelle des Kantons Graubünden ein erstes Leistungsbegehren mit Einspracheentscheid vom 13. Januar 2004 abgewiesen hatte, sprach sie F._ mit Verfügung vom 25. Februar 2005 basierend auf einem Invaliditätsgrad von 89 % eine ganze Rente der Invalidenversicherung ab 1. August 2003 zu. Die Stiftung lehnte es daraufhin mit Schreiben vom 13. Oktober 2005 ab, F._ eine Invalidenrente aus der beruflichen Vorsorge zu gewähren, weil der zeitliche Zusammenhang zwischen der während des Arbeitsverhältnisses bei der Firma eingetretenen Arbeitsfähigkeit und der Invalidität unterbrochen worden sei.
B. Das Verwaltungsgericht des Kantons Graubünden hiess die Klage von F._ mit Entscheid vom 28. August 2007 teilweise gut und verpflichtete die Stiftung, ihm ab 1. August 2002 eine obligatorische Invalidenrente im Betrag von Fr. 14'681.- jährlich (zuzüglich reglementarische Teuerung und Zins) zu erbringen. Im überobligatorischen Bereich wies es die Klage hingegen ab.
C. Das Bundesamt für Sozialversicherungen (BSV) führt Beschwerde mit dem Antrag, der angefochtene Entscheid sei in Bezug auf den Rentenbeginn aufzuheben und die Sache zur diesbezüglichen Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Stiftung verzichtet auf eine Stellungnahme, während F._ auf Abweisung der Beschwerde schliessen und um Gewährung der unentgeltlichen Rechtspflege ersuchen lässt. Eventualiter wird beantragt, der Rentenbeginn sei in Gutheissung der Beschwerde auf 13. November 2001 festzulegen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsdarstellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Auf den Eventualantrag des Beschwerdegegners, der Rentenbeginn sei in Gutheissung der Beschwerde auf 13. November 2001 festzulegen, kann nicht eingetreten werden, da das Bundesgerichtsgesetz das Institut der Anschlussbeschwerde nicht kennt und der Beschwerdegegner nicht selbstständig Beschwerde erhoben hat.
2. Der vorinstanzliche Entscheid ist nur in Bezug auf den Rentenbeginn angefochten. Hinsichtlich des überobligatorischen Bereichs blieb die Abweisung der Klage unangefochten. Unbestritten ist weiter, dass zwischen der während der Anstellung bei der Firma eingetretenen Arbeitsunfähigkeit und der Invalidität der von der Rechtsprechung geforderte enge zeitliche und sachliche Zusammenhang (siehe dazu <ref-ruling> E. 4.1 S. 275) gegeben ist.
3. 3.1 Nach der Rechtsprechung ist ein Entscheid der IV-Stelle für die Einrichtung der beruflichen Vorsorge verbindlich, sofern diese durch Eröffnung der entsprechenden Verfügung in das invalidenversicherungsrechtliche Verfahren einbezogen wurde und soweit die konkrete Fragestellung für die Beurteilung des Rentenanspruchs gegenüber der Invalidenversicherung entscheidend war. Diese Bindungswirkung findet ihre Grundlage in den Art. 23, 24 Abs. 1 und 26 Abs. 1 BVG, welche an die Regelung des IVG anknüpfen oder diese übernehmen. Die Orientierung an der Invalidenversicherung bezieht sich insbesondere auf die Voraussetzungen des Rentenanspruchs, die Rentenhöhe und den Rentenbeginn. Mit der Bindungswirkung wird einerseits eine gewisse (nicht uneingeschränkte) materiellrechtliche Koordinierung zwischen erster und zweiter Säule angestrebt. Anderseits sollen die Organe der beruflichen Vorsorge von eigenen aufwändigen Abklärungen freigestellt werden (<ref-ruling> E. 4.3.2 S. 69 mit Hinweis).
3.2 Eine Bindungswirkung entfällt, wenn die Vorsorgeeinrichtung nicht spätestens im Einspracheverfahren angelegentlich der Verfügungseröffnung in das invalidenversicherungsrechtliche Verfahren einbezogen wird (<ref-ruling>). Hält sich die Vorsorgeeinrichtung jedoch im Rahmen des invalidenversicherungsrechtlich Verfügten, ja stützt sie sich - wie auch im hier zu beurteilenden Fall - darauf ab, ist das Problem des Nichteinbezugs des Vorsorgeversicherers ins IV-Verfahren gegenstandslos. In diesem Fall kommt ohne Weiterungen die vom Gesetzgeber gewollte, in den Art. 23 ff. BVG zum Ausdruck gebrachte Verbindlichkeitswirkung unter Vorbehalt offensichtlicher Unrichtigkeit des IV-Entscheids zum Zuge (<ref-ruling> E. 3.1 S. 273, 129 V 73 mit Hinweisen).
4. 4.1 Zu Recht wendet das beschwerdeführende Bundesamt ein, die Vorinstanz habe sich zur Bindungswirkung der IV-Verfügung für die Vorsorgeeinrichtung nicht explizit geäussert. Sie hat vielmehr frei geprüft, ab wann die BVG-Rente zu leisten ist und den Rentenbeginn - um ein Jahr abweichend von der IV-Verfügung - auf den 1. August 2002 rückverlegt. Nicht gefolgt werden kann hingegen den rechtlichen Schlüssen, welche das BSV aus diesem rechtsfehlerhaften Vorgehen der Vorinstanz zieht:
4.1.1 Das Bundesamt geht davon aus, dass das Ergebnis der Verbindlichkeitsprüfung Einfluss auf die Leistungspflicht der Stiftung an sich haben könnte, diese gar entfallen könnte, falls mit der IV-Verfügung der Eintritt der massgeblichen Arbeitsunfähigkeit auf den 1. August 2002 (Beginn der einjährigen IV-Wartezeit) festzulegen wäre. Zu diesem Zeitpunkt sei der Beschwerdegegner aber nicht mehr bei der Stiftung versichert gewesen. Damit übersieht das Bundesamt, dass nach Art. 23 BVG (in der früheren und aktuellen Fassung) der massgebende Zeitpunkt einzig der Eintritt der relevanten Arbeitsunfähigkeit ist, unabhängig davon, in welchem Zeitpunkt und in welchem Masse daraus ein Anspruch auf Invalidenleistungen entsteht. Die Versicherteneigenschaft muss nur bei Eintritt der Arbeitsunfähigkeit gegeben sein, dagegen nicht notwendigerweise auch im Zeitpunkt des Eintritts oder der Verschlimmerung der Invalidität. Diese wörtliche Auslegung steht in Einklang mit Sinn und Zweck der Bestimmung, nämlich denjenigen Arbeitnehmerinnen und Arbeitnehmern Versicherungsschutz angedeihen zu lassen, welche nach einer längeren Krankheit aus dem Arbeitsverhältnis ausscheiden und erst später invalid werden. Für eine einmal aus - während der Versicherungsdauer aufgetretene - Arbeitsunfähigkeit geschuldete Invalidenleistung bleibt die Vorsorgeeinrichtung somit leistungspflichtig, selbst wenn sich nach Beendigung des Vorsorgeverhältnisses der Invaliditätsgrad ändert. Entsprechend bildet denn auch der Wegfall der Versicherteneigenschaft kein Erlöschungsgrund (Art. 26 Abs. 3 BVG e contrario; <ref-ruling> E. 1a, 118 V 45 E. 5).
4.1.2 Die Vorinstanz hat - was unwidersprochen blieb - in für das Bundesgericht verbindlicher Weise (E. 1.1) festgestellt, dass zwischen der während der Anstellung bei der Firma eingetretenen Arbeitsunfähigkeit und der Invalidität ein enger zeitlicher und sachlicher Zusammenhang besteht. Das versicherte Ereignis - der Eintritt der relevanten Arbeitsunfähigkeit - ist damit während der Zugehörigkeit zur Stiftung eingetreten. Dass die invalidenversicherungsrechtlich massgebende Invalidität erst später eingetreten ist, hat auf die grundsätzliche Leistungspflicht der Stiftung keinen Einfluss.
4.2 Die vom kantonalen Gericht unter falschem Blickwinkel vorgenommene Beurteilung ändert nichts daran, dass die Prüfungsbefugnis des Bundesgerichts auf die Frage beschränkt ist, ob die Feststellung der IV-Stelle bzw. der Vorinstanz zum Eintritt der invalidisierenden Arbeitsunfähigkeit offensichtlich unhaltbar sei oder nicht (siehe Urteil 9C_211/2007 vom 19. Oktober 2007, E. 3.1). Das kantonale Gericht hat sich zwar nicht ausdrücklich zur offensichtlichen Unrichtigkeit der Verfügung der IV-Stelle vom 25. Februar 2005 geäussert, aber in für das Bundesgericht grundsätzlich verbindlicher Weise (E. 1.1) festgestellt, der Beschwerdegegner sei seit anfangs Oktober 2000 durchgehend arbeitsunfähig gewesen. Damit hat es jedoch implizit die Verfügung der IV-Stelle vom 25. Februar 2005 als offensichtlich unrichtig beurteilt. Inwiefern diese vorinstanzliche Betrachtungsweise ihrerseits offensichtlich unrichtig sein soll, legt das beschwerdeführende Bundesamt nicht dar.
5. Dem unterliegenden Bundesamt dürfen keine Gerichtskosten auferlegt werden (<ref-law>), hingegen hat es dem Beschwerdegegner eine Parteientschädigung zu entrichten (Art. 68 Abs. 1 und 2 BGG), womit dessen Gesuch um unentgeltliche Rechtspflege gegenstandslos ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Das Bundesamt für Sozialversicherungen hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und der BVG-Sammelstiftung der Rentenanstalt schriftlich mitgeteilt.
Luzern, 29. Mai 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard