Sachverhalt:
A. B._ war Präsident des Verwaltungsrates der Firma P._ AG welche der AHV-Ausgleichskasse des Schweizerischen Bäcker-Konditorenmeister-Verbandes, Panvica (Ausgleichskasse), als beitragspflichtige Arbeitgeberin angeschlossen war. Am ... März 2005 sprach das Bezirksgericht über die Firma P._ AG den Konkurs aus. Die Ausgleichskasse gab dem zuständigen Konkursamt zur Kollokation Fr. 393'654.25 an ausstehenden Sozialversicherungsbeiträgen an. Die Ausgleichskasse erliess am 31. August 2005 eine Verfügung gegen B._, mit welcher sie Ersatz für entgangene Sozialversicherungsbeiträge von Fr. 393'654.25 an voraussichtlich erlittenem Schaden verlangte. Die dagegen erhobene Einsprache hiess die Ausgleichskasse in dem Sinne teilweise gut, als sie den Schadenersatzbetrag auf Fr. 245'036.60 reduzierte (Einspracheentscheid vom 24. März 2006).
B. Die hiegegen eingereichte Beschwerde des B._ hiess das Verwaltungsgericht des Kantons Graubünden nach einer Sistierung wegen eines strafrechtlichen Verfahrens am 31. Januar 2011 unter Aufhebung des Einspracheentscheides vom 24. März 2006 gut.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten stellt das Bundesamt für Sozialversicherungen (BSV) den Antrag, die Beschwerde sei gutzuheissen und der angefochtene Entschied des Verwaltungsgerichts des Kantons Graubünden sei aufzuheben.
Die Vorinstanz beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. B._ schliesst auf Beschwerdeabweisung, währenddem die Ausgleichskasse die Beschwerde des BSV unterstützt, indes keine Anträge stellt.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Streitig ist die Schadenersatzpflicht des Beschwerdegegners. Zu prüfende Frage bleibt allein, ob zum Beitragsverlust führende Pflichtverletzungen des Arbeitgebers dem Beschwerdegegner - seines Zeichens Präsident des Verwaltungsrats und damit formelles Organ der Firma P._ AG, welcher grundsätzlich als Schadenersatzpflichtiger in Frage kommt (Urteil H 14/00 vom 30. Juli 2001; SVR 2010 AHV Nr. 14 S. 52, Urteil 9C_145/2010 E. 5.2) - als grobfahrlässiges Verhalten anzurechnen sind. Im angefochtenen Entscheid werden die rechtlichen Grundlagen der Arbeitgeberhaftung (<ref-law>; <ref-law> in Verbindung mit <ref-law>) und die hiezu ergangene Rechtsprechung, insbesondere betreffend die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 126 V 237, 123 V 12 E. 5b S. 15, je mit Hinweisen), zu der Voraussetzung des Verschuldens und dem dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> E. 3a S. 202; ZAK 1992 S. 248 E. 4b, je mit Hinweisen; vgl. auch THOMAS NUSSBAUMER, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 1996 S. 1077 ff.) richtig wiedergegeben. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz erwog, mit Einstellungsverfügung vom 16. November 2010 hätten die Strafverfolgungsbehörden erkannt, trotz seiner formellen Organstellung komme der Beschwerdegegner nicht als Täter der Zweckentfremdung von Sozialversicherungsleistungen oder unterlassener Buchführung in Frage. Nach Lage der Akten sei mit den Strafverfolgungsbehörden davon auszugehen, dass dem Beschwerdegegner kein Verschulden vorzuwerfen sei. Er sei nur in den Verwaltungsrat gewählt worden, um ihn an das Unternehmen zu binden. Administrative Tätigkeiten habe er anerkanntermassen keine ausgeübt, wozu ihm auch die erforderlichen Kenntnisse fehlten. Mit der Geschäftsführung sei K._ als Delegierter des Verwaltungsrats betraut gewesen und für die Buchhaltung sei die Zuständigkeit bei C._ gelegen. Die Aufsicht habe der Beschwerdegegner wahrgenommen, indem monatlich Sitzungen des Verwaltungsrates stattgefunden hätten. Als Mitte 2003 bekannt geworden sei, dass Beiträge an die Ausgleichskasse nicht überwiesen worden seien, habe er die zuständigen Personen aufgefordert, die Beiträge jederzeit prioritär zu behandeln. Danach habe er sich monatlich persönlich beim Geschäftsführer und beim Buchhalter nach der Bezahlung der Beiträge erkundigt. Diese hätten ihm die Zahlungen jeweils bestätigt und dies mit Einzahlungsbelegen über die Akontozahlungen an die Ausgleichskasse nachgewiesen. Mahnungen und Zahlungsbelege hätten diese jedoch verschwiegen. Dass es sich um Akontozahlungen gehandelt habe, welche die tatsächlich geschuldeten Beiträge nicht gedeckt hätten, sei dem Beschwerdegegner nicht bewusst gewesen.
3.2 Dem hält das Beschwerde führende Bundesamt entgegen, der nicht mit der Geschäftsführung betraute Beschwerdegegner habe die unübertragbare und unentziehbare Pflicht zur Oberaufsicht über die Geschäftsführung inne gehabt. Seine fehlenden Kenntnisse in kaufmännischen Belangen vermöchten ihn nicht zu entlasten; denn es gelte ein objektiver Verschuldensmassstab. Der Beschwerdegegner habe keine Einsicht in die Geschäftsunterlagen genommen und sich mit den Zusicherungen der Geschäftsführer begnügt. An der Vorwerfbarkeit ändere der Freispruch im Strafverfahren nichts, da sich die Haftung gemäss <ref-law> nach anderen Kriterien bestimme als die strafrechtliche Verantwortlichkeit.
4. 4.1 Das Mitglied des Verwaltungsrats, das die Erfüllung einer Aufgabe befugterweise einem anderen Organ überträgt (vgl. Art. 716b Abs. 1), haftet für den von diesem verursachten Schaden, sofern es nicht nachweist, dass es bei der Auswahl, Unterrichtung und Überwachung die nach den Umständen gebotene Sorgfalt angewendet hat (<ref-law>; vgl. auch zum alten Aktienrecht <ref-ruling> E. 3a S. 197; <ref-ruling> E. 4a S. 223). Dem nicht mit der kaufmännischen Geschäftsführung und die finanziellen Belange betrauten Mitglied des Verwaltungsrates steht die unübertragbare und unentziehbare Aufgabe zu, die Oberaufsicht über die mit der Geschäftsführung betrauten Personen, namentlich im Hinblick auf die Befolgung der Gesetze, auszuüben (<ref-law>), zu welchem Zweck der Verwaltungsrat über ein Recht auf Auskunft und Einsicht verfügt (<ref-law>). Das Verhalten eines Verwaltungsratsmitgliedes wird mit demjenigen verglichen, das billigerweise von einer abstrakt vorgestellten, ordnungsgemäss handelnden Person in einer vergleichbaren Situation erwartet werden kann (Urteil 4C.358/2005 vom 12. Februar 2007 E. 5.2.1, nicht publ. in: <ref-ruling>; Urteil 4C.201/2001 vom 19. Juni 2002 E. 2.1.1; BÜRGI/NORDMANN, Zürcher Kommentar, Rz. 15 zu <ref-law> i.V. mit Rz. 89 zu Art. 753/754 OR unter dem Gesichtspunkt der Fahrlässigkeit).
4.2 Obliegt die Geschäftsführung einem Mitglied des Verwaltungsrats (<ref-law>), so handeln weitere Verwaltungsräte im Sinne von <ref-law> qualifiziert schuldhaft, wenn sie die nach den Umständen gebotene, sich auch auf das Beitragswesen erstreckende Aufsicht nicht ausüben, wobei sich die Anforderungen an die gegenseitige Kontrolle bei einem wie vorliegend aus nur wenigen Personen zusammengesetzten Verwaltungsrat nach einem strengen Massstab beurteilen. Als grobfahrlässig gilt gerade auch die Passivität faktisch von der Geschäftsführung ausgeschlossener Verwaltungsräte, welche sich umso nachhaltiger um Einblick in die Geschäftsbücher zu bemühen haben. Ein Verwaltungsrat kann sich, wenn es wie beim Beitragswesen um die Verantwortung in Geschäften geht, mit denen er sich ihrer Bedeutung wegen befassen musste, nicht mit dem Einwand exkulpieren, er habe keinen Einfluss auf die Geschäftsführung gehabt (<ref-ruling> E. 6 S. 88; ZAK 1992 S. 255 E. 7b, ZAK 1989 S. 104 E. 4; Urteil H 94/91 vom 4. März 1993 E. 2c, nicht publ. in <ref-ruling>; Urteil H 217/92 vom 1. Oktober 1993 E. 5a/aa; Urteil H 253/02 vom 23. Januar 2003 E. 6.2). Ergibt sich aus den Informationen der Verdacht falscher oder unsorgfältiger Ausübung der delegierten Geschäftsführungs- und Vertretungsbefugnisse, ist der Verwaltungsrat verpflichtet, sogleich die erforderlichen Abklärungen zu treffen, nötigenfalls durch Beizug von Sachverständigen (BGE <ref-ruling> E. 4a S. 223; <ref-ruling> E. 5b S. 411; Urteil 4C.358/2005 vom 12. Februar 2007 E. 5.2.1; GEORG KRNETA, Praxiskommentar Verwaltungsrat, 2005, Rz. 1829 und 1848).
5. 5.1 Der Beschwerdegegner als nicht geschäftsführendes Mitglied des Verwaltungsrates erfuhr gemäss angefochtenem Entscheid ab Mitte des Jahres 2003 von Unregelmässigkeiten bei der Abrechnung und Bezahlung von Sozialversicherungsbeiträgen der Firma P._ AG. Zwar war er nicht verpflichtet, von nun an die Zahlungen selbst an die Hand zu nehmen (SVR 2010 AHV Nr. 14 S. 52, 9C_145/2010 E. 5.5); hingegen oblag es ihm, im Rahmen der Oberaufsicht die rechtskonforme Beitragszahlung anderweitig sicherzustellen (<ref-law>; vgl. PETER BÖCKLI, Schweizer Aktienrecht, 2009, Rz. 127a S. 2400). Statt dessen wies der Beschwerdegegner gemäss den verbindlichen Feststellungen der Vorinstanz (<ref-law>) den Geschäftsführer nur an, den Beitragszahlungen erste Priorität einzuräumen. Die Geschäftsleitung legte ihm sodann Einzahlungsbelege vor, die der Beschwerdegegner wegen seiner Unerfahrenheit in kaufmännischen Angelegenheiten nicht als Nachweis blosser Akontozahlungen erkannte. Er verliess sich im Weiteren auf die im Rahmen monatlicher Verwaltungsratssitzungen von der Geschäftsführung abgegebenen Zusagen der rechtskonformen Verabgabung der Sozialversicherungsbeiträge. Mit Blick auf das dem Beschwerdegegner bekannte Fehlverhalten des Geschäftsführers boten die getroffenen Massnahmen von vornherein keine Gewähr für eine rechtmässige Abgabe der Sozialversicherungsbeiträge. Weder durfte er sich darauf verlassen, dass ihm sämtliche für die Beitragszahlung relevanten Belege vorgelegt werden, noch waren Zusicherungen der Geschäftsleitung allein ausreichend. Im Ergebnis setzte der Beschwerdegegner hinsichtlich der getroffenen Vorkehren die Zuverlässigkeit und das korrekte Handeln der Geschäftsleitung voraus, deren Fehlen aber gerade Anlass der Massnahmen war. Zufolge der bekannten Mängel in der Geschäftsführung musste rechtsprechungsgemäss vielmehr eine strenge Kontrolle Platz greifen (BGE <ref-ruling> E. 4a S. 223; KRNETA, a.a.O., Rz. 1282). Eine solche erfordert mindestens die Einsichtnahme in die Geschäftsunterlagen, deren sorgfältige Prüfung und falls nötig die Einholung ergänzender Auskünfte. Zu diesem Zweck hätte der Beschwerdegegner wegen der ihm abgehenden Kenntnisse und Erfahrungen in kaufmännischen Angelegenheiten und namentlich in der Buchführung eine sachverständige Person beiziehen müssen (E. 5.2 hievor). Fehlende Sachkenntnis und Erfahrung in kaufmännischen Belangen entbinden den Verwaltungsrat nicht davor, selbst Einsicht in die Geschäftsunterlagen zu nehmen (Art. 715a Abs. 1 und 4 OR). Die Pflicht besteht im Rahmen der unübertragbaren Aufgaben des Verwaltungsrats (<ref-law>). Das Vorenthalten von Mahnungen und Zahlungsbefehlen seitens der Geschäftsführung entlastet den Beschwerdegegner daher nicht. Mängel in der Geschäftsführung waren anhand der eingehenden Mahnungen und Zahlungsbefehle auch ohne kaufmännisches Fachwissen und Erfahrung klar erkennbar (vgl. <ref-law>). In diesem Lichte ist der Beschwerdegegner der Pflicht als Verwaltungsrat, die Geschäftsleitung einer - umständebedingt -strengen Prüfung zu unterziehen und für die gesetzmässige Geschäftsführung zu sorgen, unter grobfahrlässiger Missachtung von Vorschriften nicht nachgekommen (Art. 716a Abs. 1 Ziff. 1 und 5 OR; <ref-law>).
5.2 Nichts zu seinen Gunsten herleiten kann der Beschwerdegegner aus der strafrechtlichen Einstellungsverfügung vom 16. November 2010. Das Strafverfahren eröffnete die Staatsanwaltschaft des Kantons Graubünden wegen Verdachts auf Zweckentfremdung von AHV/IV-Beiträgen (<ref-law>) und Unterlassung der Buchführung (<ref-law>). Strafbar ist nur die vorsätzliche Verletzung von <ref-law> nicht jedoch die fahrlässige Begehung der Tat (<ref-law>; LUCREZIA GLANZMANN-TARNUTZER, Die Zweckentfremdung von Arbeitnehmerbeiträgen in der Sozialversicherung, AJP 2003, S. 910). Gleiches gilt mit Bezug auf die Unterlassung der Buchführung (<ref-law>); auch hiebei handelt es sich um ein Vorsatzdelikt (<ref-ruling> E 2b S. 164). Im Rahmen der strafrechtlichen Prüfung kam demzufolge nicht der aktienrechtliche Verschuldensmassstab zur Anwendung.
6. Der adäquate Kausalzusammenhang zwischen der Vorschriftsverletzung und dem eingetretenen Schaden ist nicht strittig (vgl. <ref-ruling> E. 5a S. 461), womit der Beschwerdegegner der Ausgleichskasse für nicht bezahlte Sozialversicherungsbeiträge schadenersatzpflichtig wird. Die Beschwerde ist begründet.
7. Entsprechend dem Verfahrensausgang werden die Gerichtskosten dem Beschwerdegegner auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 31. Januar 2011 aufgehoben.
2. Die Gerichtskosten von Fr. 5'000.- werden dem Beschwerdegegner auferlegt.
3. Dieses Urteil wird den Parteien, der Ausgleichskasse Panvica und dem Verwaltungsgericht des Kantons Graubünden schriftlich mitgeteilt.
Luzern, 8. Juli 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin