Sachverhalt:
A. Der eritreische Staatsangehörige X._ (geb. 1978) gelangte am 30. April 2007 in die Schweiz und stellte hier ein Asylgesuch. Nachdem diesem entsprochen wurde, erhielt er eine vom Kanton Freiburg ausgestellte, bis am 30. April 2012 gültige Aufenthaltsbewilligung. Am 30. Oktober 2010 verheiratete er sich in Khartum mit der am 8. November 1985 geborenen Y._. Am 3. November 2010 stellte Y._ bei der Schweizer Botschaft in Khartum ein Gesuch um Einreise in die Schweiz im Rahmen des Familiennachzuges. Mit Verfügung vom 12. Mai 2011 wies das Amt für Bevölkerung und Migration des Kantons Freiburg das Begehren ab. Zur Begründung führte es aus, es bestehe kein Anrecht auf Einreise in die Schweiz. Überdies habe Y._ weder einen Eheschein noch andere Identitätsausweise, die von der Schweizer Botschaft beglaubigt worden wären, vorlegen können. Die von X._ und Y._ gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Freiburg am 2. Februar 2012 ab.
B. Mit Eingabe vom 12. März 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das letztgenannte Urteil aufzuheben und das Amt für Bevölkerung und Migration des Kantons Freiburg anzuweisen, der Ehefrau des Beschwerdeführers die Einreise in die Schweiz und den Aufenthalt im Kanton Freiburg zwecks Verbleib beim Ehegatten zu bewilligen. Eventualiter sei die Sache zur Neubeurteilung und ergänzenden Begründung an die Vorinstanz zurückzuweisen. Gleichzeitig beantragt er unentgeltliche Rechtspflege.
C. Das Verwaltungsgericht des Kantons Freiburg und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Amt für Bevölkerung und Migration des Kantons Freiburg verweist auf den vorinstanzlichen Entscheid und führt ergänzend an, die Eheschliessung der betroffenen Personen sei rein religiöser Natur. Mit Eingabe vom 22. Juni 2012 nimmt X._ zu diesem Vorbringen Stellung und hält an seiner Beschwerde fest.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (<ref-law>). Für das Eintreten genügt allerdings, wenn der Betroffene in vertretbarer Weise dartut, dass potenziell ein Anspruch auf die Bewilligung besteht (<ref-ruling> E. 1.1 S. 179 f.); ob die jeweiligen Voraussetzungen tatsächlich gegeben sind, bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.3 S. 287).
1.2 Unbestrittenermassen ist dem Beschwerdeführer Asyl gewährt worden. Nach <ref-law> (SR142.31) umfasst Asyl den Schutz und die Rechtsstellung, die Personen aufgrund ihrer Flüchtlingseigenschaft in der Schweiz gewährt werden. Asyl schliesst das Recht auf Anwesenheit in der Schweiz ein. Konkretisiert wird dieses Recht in <ref-law>. Das Recht auf Anwesenheit erschöpft sich in einem Anspruch auf Aufenthaltsbewilligung im Kanton, in dem sich die Personen, denen Asyl gewährt wurde, rechtmässig aufhalten (<ref-law>). Nach fünf Jahren rechtmässigen Aufenthalts in der Schweiz haben diese Personen grundsätzlich (Ausnahmen: Art. 60 Abs. 2 lit. a und b AsylG) Anspruch auf die Niederlassungsbewilligung (Art. 60 Abs. 2 Ingress AsylG). Zwar gewährt Art. 44 AuG (SR 142.20) für ausländische Ehegatten von Personen mit einer Aufenthaltsbewilligung im Rahmen des Familiennachzugs keinen Anspruch auf eine Aufenthaltsbewilligung; eine solche kann höchstens ermessensweise erteilt werden (vgl. <ref-ruling> E. 1.2 S. 287). Doch garantiert Art. 8 Ziff. 1 EMRK unter bestimmten Voraussetzungen den Schutz des Familienlebens, und der Ausländer, der nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz hat, oder die Ehefrau bzw. der Ehemann, deren Ehemann bzw. dessen Ehefrau mit einem solchen Recht in der Schweiz lebt, können sich darauf berufen. Über ein gefestigtes Anwesenheitsrecht verfügt, wer das Schweizer Bürgerrecht besitzt, wem eine Niederlassungsbewilligung gewährt wurde oder wer über eine Aufenthaltsbewilligung verfügt, die ihrerseits auf einem gefestigten Rechtsanspruch beruht (<ref-ruling> E. 1.3.1 S. 145 f.; <ref-ruling> E. 1e S. 5). Dadurch wird das oben aufgeführte Ermessen der Ausländerbehörden eingeschränkt.
Entsprechend den oben dargelegten Regelungen (Art. 2 Abs. 2, 60 Abs. 1) des AsylG hat der Beschwerdeführer Anspruch auf eine Aufenthaltsbewilligung und verfügt nach der Rechtsprechung des Bundesgerichts über ein gefestigtes Anwesenheitsrecht in der Schweiz (BGE <ref-ruling> E. 1e S. 5). Der Beschwerdeführer macht eine gelebte und intakte Ehebeziehung geltend. Insofern kann sich der Beschwerdeführer zu Recht auf Art. 8 EMRK berufen (vgl. <ref-ruling> E. 1.3 S. 287), was er in vertretbarer Weise auch macht. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit zulässig. Auf die Beschwerde ist grundsätzlich einzutreten.
1.3 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dabei prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), an sich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.2.1 S. 389). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft es hingegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.4 Das Bundesgericht ist grundsätzlich an den vorinstanzlich festgestellten Sachverhalt gebunden (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig (<ref-law>), was nicht schon dann der Fall ist, wenn sich Zweifel anmelden, sondern erst, wenn die Sachverhaltsfeststellung eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 1.2.2 und E. 1.4.3 i.f. S. 252 bzw. 255).
1.5 Der Beschwerdeführer reicht eine Eingabe an die kantonale Migrationsbehörde ein, mit welcher die neue Tatsache einer Niederlassungsbewilligung zur Kenntnis gebracht wurde. Als unzulässiges echtes Novum ist diese Tatsache im bundesgerichtlichen Verfahren nicht zu beachten (<ref-ruling> E. 2.1 S. 343).
2. 2.1 Nach Art. 8 Ziff. 1 EMRK hat jede Person namentlich das Recht auf Achtung des Privat- und Familienlebens. Kann sich der Beschwerdeführer darauf berufen, kommt die Verweigerung einer Einreise und Aufenthalt einem Eingriff in den durch Art. 8 EMRK gewährleisteten Anspruch auf Familienleben gleich. Dieser Anspruch gilt jedoch nicht absolut. Vielmehr ist eine einzelfallweise Güterabwägung vorzunehmen, wobei die in Art. 8 Ziff. 2 EMRK genannten Aspekte einen Eingriff in das Familienleben rechtfertigen können (dazu <ref-ruling> E. 2.1 S. 287 f.; <ref-ruling> E. 2.1 S. 147). Vorliegend sind indessen Vorfragen in Bezug auf die Formalien strittig.
2.2 Nach Art. 13 AuG müssen Ausländerinnen und Ausländer bei der Anmeldung ein gültiges Ausweispapier vorlegen; der Bundesrat bestimmt die Ausnahmen und die anerkannten Ausweispapiere (Abs. 1). Die Anmeldung darf erst erfolgen, wenn alle von der zuständigen Behörde bezeichneten, für die Bewilligungserteilung notwendigen Dokumente vorliegen (Abs. 3). Als Ausweispapiere werden gemäss <ref-law> (SR 142.201) für die Anmeldung anerkannt: Ausweisschriften der von der Schweiz anerkannten Staaten, sofern sie die Identität der Ausländerin oder des Ausländers und die Zugehörigkeit zum ausstellenden Staat belegen und die Inhaberin oder der Inhaber damit jederzeit in diesen Staat einreisen kann (lit. a); andere Ausweise, die Gewähr dafür bieten, dass die Inhaberin oder der Inhaber damit jederzeit zur Einreise in den ausstellenden Staat oder in das im Ausweis bezeichnete Gebiet berechtigt ist (lit. b); andere Ausweise, die Gewähr dafür bieten, dass die Inhaberin oder der Inhaber damit jederzeit ein genügendes Ausweispapier erhalten kann, das zur Einreise in den ausstellenden Staat oder in das im Ausweis bezeichnete Gebiet berechtigt (lit. c). Die zuständigen Behörden können im Rahmen des Anmelde- und Bewilligungsverfahrens die Vorweisung der Ausweise im Original verlangen und davon Kopien anfertigen (<ref-law>).
3. 3.1 Die Vorinstanz hat im angefochtenen Urteil festgestellt, die Beschwerdeführer hätten keine von der Schweizerischen Botschaft beglaubigten Dokumente vorgelegt. Da demnach die Identität der Beschwerdeführerin nicht erbracht werden könne, sei davon auszugehen, dass die angebliche Heirat in der Schweiz nicht anerkannt werde. Infolgedessen könnten sich die Beschwerdeführer weder auf Art. 8 EMRK noch auf Art. 13 Abs. 1 EMRK (recte wohl BV) stützen.
3.2 Der Beschwerdeführer macht geltend, der Entscheid der Vorinstanz beruhe auf einer offensichtlich unrichtigen Sachverhaltsfeststellung. Zum einen befinde sich ein von der Schweizerischen Vertretung in Khartum erstellter Eheschein bei den Akten, aus welchem sich ergebe, dass der Beschwerdeführer und seine Ehefrau am 30. Oktober 2010 in Khartum geheiratet hätten. Zum anderen sei eine ebenfalls durch die Schweizerische Vertretung übermittelte Wohnsitzbescheinigung bei den Akten. Gemäss der Beglaubigung "Confidential Verification" vom 20. Dezember 2011 sei der sudanesische Eheschein wie auch die Wohnsitzbestätigung durch die Schweizerische Botschaft überprüft und als echt befunden worden.
3.3 Gemäss den vorinstanzlichen Akten hat die Schweizerische Botschaft für Sudan und Eritrea am 22. Dezember 2010 folgende Unterlagen zu Handen des Migrationsamtes des Kantons Freiburg übermittelt: Visumformular mit Reisepass, Eheschein, Wohnsitzbescheinigung, Zivilstandsnachweis, Ausweiskopien, Bericht Dokumentenüberprüfung, Fragebogen. Dazu führte sie aus, es sei zu beachten, dass die Dokumentenüberprüfung lediglich die sudanesischen Akten (Heiratsurkunden und Wohnsitzbestätigung) umfasse. Daraus könnten weder der Zivilstand vor der Heirat noch die Identitätspapiere bestätigt werden, mangels Möglichkeit der Überprüfung eritreischer Zivilstands- und Ausweispapiere.
Daraus ergibt sich, dass die vorinstanzliche Sachverhaltsfeststellung offensichtlich unrichtig ist, soweit damit gemeint sein sollte, der Beschwerdeführer habe seine Ehe mit Y._ nicht rechtsgenüglich nachgewiesen. Aufgrund des bei den Akten liegenden Ehescheines ist die Ehe erstellt. Angesicht des von der Schweizerischen Botschaft ausgestellten Ehescheins ist die Bemerkung des kantonalen Amtes für Bevölkerung und Migration in seiner Vernehmlassung zudem nicht nachvollziehbar, wonach die Ehe der betroffenen Personen rein religiöser Natur sei und keinerlei zivilrechtliche Wirkungen in der Schweiz entfalte.
3.4 Was die Identität der Ehefrau des Beschwerdeführers anbelangt, haben der Beschwerdeführer und seine Ehefrau der Schweizerischen Vertretung offensichtlich Dokumente vorgelegt und diese wurden in Kopie den Schweizerischen Behörden übermittelt. Die Schweizerische Vertretung führte, wie bereits erwähnt aus, diese Dokumente könnten, da sie eritreischen Ursprungs seien, nicht überprüft werden. Die Vorinstanz hat aufgrund dieses Umstandes geschlossen, der Beschwerdeführer bzw. seine Ehefrau seien damit ihrer Verpflichtung nach Art. 13 AuG bzw. <ref-law> nicht nachgekommen.
Dieser Auffassung kann nicht gefolgt werden. Vorab ist festzuhalten, dass die zitierten Bestimmungen nur den Nachweis der Identität der Gesuchsteller regeln; sie verlangen keine Beglaubigung der Dokumente. Vielmehr sieht <ref-law> vor, dass die zuständigen Behörden im Rahmen des Anmelde- und Bewilligungsverfahrens die Vorweisung der Ausweise im Original verlangen und Kopien anfertigen können. Die Vorinstanz hat weder festgestellt, der Beschwerdeführer bzw. seine Ehefrau seien vergeblich aufgefordert worden, die fraglichen Dokumente im Original vorzulegen, noch wurde moniert, es seien keine Originaldokumente vorgelegt worden. Es ist daher davon auszugehen, dass der Beschwerdeführer und seine Ehefrau grundsätzlich den gesetzlichen Verpflichtungen nachgekommen sind. Das Einfordern von beglaubigten Identitätsdokumenten ist allerdings nicht ausgeschlossen. Es drängt sich insbesondere dann auf, wenn erhebliche Zweifel an der Originalkonformität oder Echtheit vorgelegter Unterlagen bestehen, was im vorliegenden Fall die Vorinstanz allerdings nicht geltend gemacht hatte.
Die Vorinstanz hat deshalb fälschlicherweise festgestellt, es sei davon auszugehen, dass die angebliche Heirat in der Schweiz nicht anerkannt werde, ist doch diese Heirat nicht bloss behauptet, sondern belegt.
3.5 Die Vorinstanz hat aufgrund ihrer vorgenannten Feststellung keine Prüfung vorgenommen, ob die Voraussetzungen für den verlangten Nachzug der Ehefrau gegeben sind. Die Sache ist daher zur Vornahme der entsprechenden Abklärungen an die Vorinstanz zurückzuweisen. Bei diesem Ergebnis kann auf eine Auseinandersetzung mit den weiteren Vorbringen des Beschwerdeführers verzichtet werden.
4. Dem Verfahrensausgang entsprechend sind keine Kosten zu erheben (<ref-law>). Der Kanton Freiburg hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>). Das Gesuch um unentgeltliche Rechtspflege wird damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil des Kantonsgerichts Freiburg, I. Verwaltungsgerichtshof, vom 2. Februar 2012 aufgehoben. Die Sache wird zu neuer Abklärung an das Kantonsgericht Freiburg, I. Verwaltungsgerichtshof, zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Freiburg hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonsgericht Freiburg, I. Verwaltungsgerichtshof, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 20. Dezember 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass