Sachverhalt:
A. Am 30. Juli 2009 meldete Emmentaler Switzerland, Consortium Emmentaler AOC (Beschwerdeführer) beim IGE (Beschwerdegegner) mit dem Gesuch Nr. 58321/2009 die Marke "EIN STÜCK SCHWEIZ" für Käse mit der geschützten Ursprungsbezeichnung "Emmentaler" in Klasse 29 gemäss Nizzaklassifikation zur Eintragung in das schweizerische Markenregister an.
Das IGE beanstandete mit Schreiben vom 3. November 2009, das Zeichen werde als "Ein Teil der Schweiz" verstanden und beschreibe damit direkt die Ware bzw. deren Herkunft. Die Marke sei deshalb dem Gemeingut zuzurechnen. Dem widersprach der Beschwerdeführer mit Antwort vom 13. November 2009. Mit Festhaltung vom 25. Februar 2010 hielt das IGE an seiner Auffassung fest, die Wortfolge "ein Stück", kombiniert mit einem Ländernamen, sei im deutschen Sprachgebrauch ebenso üblich wie ihre Kombination mit abstrakten Begriffen wie "Glück", "Freiheit" etc. Das Zeichen werde demnach von den Verkehrskreisen als "Ein Teil der Schweiz" im Sinne von "Ein Teil der schweizerischen Kultur, Tradition, Herkunft und/oder Essgewohnheit" wahrgenommen. Das Zeichen wirke insofern für sämtliche strittigen Waren direkt beschreibend. Es erschöpfe sich in einer Sachbezeichnung derselben, indem es darauf hinweise, dass es sich um einen Teil der schweizerischen Kultur, Tradition, Herkunft und Essgewohnheit handle. Diese Auslegung stehe im Zusammenhang mit den beanspruchten Waren im Vordergrund, sodass entgegen der Auffassung des Beschwerdeführers auch keine entscheidrelevante Mehrdeutigkeit des Zeichens vorhanden sei.
Mit Verfügung vom 15. März 2011 wies das IGE das Markeneintragungsgesuch für sämtliche der beanspruchten Waren zurück. Zur Begründung führte es unter anderem an, Wortfolgen, die aus "ein Stück" mit einem nachfolgenden Ländernamen gebildet werden, seien im deutschen Sprachraum verbreitet. Solche Redewendungen dienten üblicherweise dazu anzuzeigen, dass etwas im übertragenen Sinn zu einem Land gehört. Die in der Festhaltung vom 25. Februar 2010 gegebene Begründung der Zurückweisung der strittigen Marke werde dahingehend modifiziert, dass sich der Sinngehalt dem Abnehmer erschliesse, weil die Verwendung des Schlagworts "Ein Stück Schweiz" generell und erst recht im Zusammenhang mit Käse üblich sei, und nicht, weil das Zeichen beschreibend sei.
B. Gegen diese Verfügung gelangte der Beschwerdeführer erfolglos an das Bundesverwaltungsgericht, das seine Beschwerde am 7. Mai 2012 abwies. Das Bundesverwaltungsgericht anerkannte, dass die Wortfolge "Ein Stück Schweiz" als Slogan zu qualifizieren sei, dem jedenfalls die abstrakte Unterscheidungseignung nach <ref-law> nicht abgesprochen werden könne. Er sei einprägsam, kurz und wirke schlagwortartig, und er werde bei einem wesentlichen Teil der massgeblichen Verkehrskreise (Heimat-)Gefühle wecken, insbesondere im Kontext mit einem Warenangebot von Käse. Das Gericht verneinte indessen die Schutzfähigkeit des Slogans, weil er dem Gemeingut gemäss <ref-law> angehöre und eine Verkehrsdurchsetzung, der das Zeichen an sich zugänglich wäre, nicht glaubhaft gemacht sei.
C. Der Beschwerdeführer erhob gegen diesen Entscheid am 8. Juni 2012 Beschwerde in Zivilsachen mit dem Antrag, das Zeichen "EIN STÜCK SCHWEIZ" für Käse mit der geschützten Ursprungsbezeichnung "Emmentaler" (Klasse 29) als Marke einzutragen.
Das IGE beantragt unter Verzicht auf eine Stellungnahme, die Beschwerde abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.

Erwägungen:
1. In der vorliegenden Registersache ist nach Art. 72 Abs. 2 lit. b Ziff. 2 BGG die Beschwerde in Zivilsachen das zulässige Rechtsmittel. Als Vorinstanz hat das Bundesverwaltungsgericht entschieden (<ref-law>). Der Entscheid erging nicht im Rahmen des Widerspruchsverfahrens (<ref-law>). Der Beschwerdeführer ist mit seinem Begehren bei der Vorinstanz unterlegen und damit formell zur Beschwerde legitimiert (<ref-law>). Da er den gewünschten Markenschutz für sein Zeichen nicht erhalten hat, ist er auch materiell beschwert (<ref-law>). Der angefochtene Entscheid schliesst das Verfahren betreffend das Markeneintragungsgesuch Nr. 58321/2009 ab und stellt demnach einen Endentscheid dar (<ref-law>). Die Beschwerdefrist von 30 Tagen (<ref-law>) wurde eingehalten. Der für die Beschwerde in Zivilsachen erforderliche Streitwert ist erreicht (<ref-law>; <ref-ruling> E. 3). Auf die Beschwerde ist demnach einzutreten.
2. Vor Bundesgericht ist einzig streitig, ob die Vorinstanz den Slogan "EIN STÜCK SCHWEIZ" für Käse mit der geschützten Ursprungsbezeichnung "Emmentaler" (nachfolgend: "Emmentaler AOC") zu Recht als Gemeingut im Sinne von <ref-law> (SR 232.11) qualifizierte.
2.1 Als Gemeingut im Sinne von <ref-law> vom Markenschutz ausgeschlossen sind nach der bundesgerichtlichen Rechtsprechung namentlich beschreibende Zeichen, die sich in Angaben über die Art, die Beschaffenheit, die Menge, die Bestimmung, den Wert oder sonstige Merkmale der gekennzeichneten Waren oder Dienstleistungen erschöpfen und daher die zu deren Identifikation erforderliche Kennzeichnungs- und Unterscheidungskraft nicht aufweisen (<ref-ruling> E. 2.3.2 S. 320; <ref-ruling> E. 5 S. 503). Dazu gehören auch Qualitätsangaben, mithin diejenigen Zeichen, deren inhaltliche Aussage sich in einer reklamehaften Anpreisung oder Selbstdarstellung erschöpft (<ref-ruling> E. 5.1 S. 227 f.; <ref-ruling> E. 1.6 S. 452; <ref-ruling> E. 1 S. 251; Urteil 4A_648/2010 vom 28. Februar 2011 E. 2.3, je mit Hinweisen). Der beschreibende Charakter solcher Hinweise muss vom angesprochenen Publikum ohne besondere Denkarbeit und ohne besonderen Fantasieaufwand unmittelbar erkennbar sein. Dabei genügt, dass dies in einem Sprachgebiet der Schweiz zutrifft (BGE <ref-ruling> E. 5 S. 503; <ref-ruling> E. 5.1 S. 228; <ref-ruling> E. 1.5, je mit Hinweisen). Auch schlagwortartige Wortfolgen bzw. Slogans sind nach diesen Grundsätzen insbesondere dann vom Schutz als Marke ausgeschlossen, wenn sie sich in einem anpreisenden Qualitätshinweis auf die beanspruchte Ware erschöpfen, der ohne Zuhilfenahme der Fantasie verstanden wird (Urteil 4A_161/2007 vom 18. Juli 2007 E. 6.2, in: sic! 12/2007 S. 899 ["we make ideas work"]; vgl. auch <ref-ruling> E. 3.4.4 S. 232; CHRISTOPH WILLI, Kommentar zum MSchG, 2002, N. 82 zu <ref-law>; YVAN CHERPILLOD, Le droit suisse des marques, 2007, S. 62; EUGEN MARBACH, Markenrecht, in: SIWR Bd. III/1, 2. Aufl. 2009, Rz. 412 f.).
Das Bundesgericht prüft grundsätzlich als Rechtsfrage frei, wie der massgebende Adressatenkreis für die beanspruchten Waren oder Dienstleistungen abzugrenzen ist und - bei Gütern des allgemeinen Bedarfs - wie die Adressaten aufgrund der erwarteten Aufmerksamkeit das Zeichen wahrnehmen (<ref-ruling> E. 2.3 S. 551; <ref-ruling> E. 4 S. 347 mit Hinweisen).
2.2 Die Vorinstanz erwog, im Zusammenhang mit der beanspruchten Ware stehe die Bedeutung von "EIN STÜCK SCHWEIZ" in dem Sinne klar im Vordergrund, dass die Ware Bestandteil der schweizerischen (Ess-)Kultur, Tradition, Herkunft, Landwirtschaft und Essgewohnheit darstelle. Die von der Marke ausgehenden gedanklichen Anklänge an schweizerische Esstraditionen und Ähnliches seien für die beanspruchte Ware nicht als direkt beschreibend im Sinne von <ref-law> einzustufen. Es liege entgegen der Auffassung des Beschwerdeführers auch kein Fall von Mehrdeutigkeit vor, sondern die Anklänge an schweizerische Traditionen und Ähnliches dominierten klar vor dem anderen möglichen Sinngehalt eines Bestandteils schweizerischen Grund und Bodens.
Im Gesamteindruck, so die Vorinstanz weiter, dominiere die Auslegung der strittigen Marke im Sinne eines Hinweises darauf, dass es sich bei der beanspruchten Ware um ein typisches, traditionsreiches schweizerisches Produkt handle. Hinter entsprechenden Hinweisen auf die schweizerische Herkunft eines Produkts oder einer Dienstleistung verberge sich ein beträchtliches Kapital, da zahlreiche schweizerische Waren und Dienstleistungen im In- und Ausland, zu denen namentlich auch Produkte der Käsebranche zählten, einen hervorragenden Ruf in Sachen Qualität, traditionelle Herstellungsweise etc. genössen. Vor diesem Hintergrund erweise sich die zu beurteilende Marke als hochgradig anpreisend.
Weiter erwog das Gericht, die anpreisende Wirkung der strittigen Marke werde nicht durch eine unübliche sprachliche Konstruktion bereichert, die es erlauben würde anzunehmen, dass sich die Marke über ihren anpreisenden Charakter hinaus im Erinnerungsbild der Abnehmerkreise individualisieren würde. Die Marke erschöpfe sich darum in einer allgemeinen Redewendung und gleichzeitig in einem stark anpreisenden Qualitätshinweis.
2.3 Der Beschwerdeführer anerkennt mit einer Ausnahme, dass die Vorinstanz bei ihrer Beurteilung des strittigen Zeichens von einem richtigen Massstab, mithin von richtigen Grundsätzen ausgegangen ist (vgl. zu denselben Erwägung 2.1 vorne). Er rügt indessen, die Anwendung derselben auf das konkrete Zeichen sei rechtsfehlerhaft erfolgt. Konkret bestreitet er, dass sich "EIN STÜCK SCHWEIZ" in einer anpreisenden Bedeutung erschöpfe und dass es sich dabei um eine allgemeine Redewendung handle.
Es ist im Folgenden zum einen zu prüfen, ob die Vorinstanz den strittigen Slogan zutreffend als werbemässige Anpreisung des beanspruchten Produkts qualifizierte. Zum anderen ist die Frage zu beantworten, ob sich das Zeichen in einer blossen Anpreisung erschöpft, da es nicht durch eine unübliche sprachliche Konstruktion bereichert wird, die ihm Unterscheidungskraft verleihen könnte.
2.3.1 Der Beschwerdeführer macht geltend, die Vorinstanz halte richtig fest, "EIN STÜCK SCHWEIZ" sei auszulegen. Ein auslegungsbedürftiges Zeichen könne sich allerdings nicht in einer anpreisenden Aussage im Sinne der Rechtsprechung erschöpfen. Aus der Tatsache, dass ein Zeichen auslegungsbedürftig sei, ergebe sich zwanglos, dass seine Kommunikationsleistung komplexer sei und sich eben gerade nicht in einer bestimmten, insbesondere anpreisenden Aussage erschöpfe. Aus der Auslegungsbedürftigkeit eines Zeichens ergebe sich logisch ein gedanklicher Aufwand.
Dem kann nicht gefolgt werden. Der Beschwerdeführer geht bei diesen Vorbringen davon aus, die Vorinstanz habe das Zeichen "EIN STÜCK SCHWEIZ" im Zusammenhang mit den beanspruchten Waren als mehrdeutig betrachtet. Dies trifft indes nicht zu. Vielmehr führte die Vorinstanz aus, es liege kein Fall von Mehrdeutigkeit vor und im Zusammenhang mit den beanspruchten Waren dominierten klar die Anklänge an schweizerische Traditionen und Ähnliches vor dem anderen möglichen Sinngehalt eines Bestandteils schweizerischen Grund und Bodens. Dieser Auffassung kann ohne weiteres gefolgt werden. Wenn die Vorinstanz nach dieser Erwägung fortfuhr, im Gesamteindruck dominiere die "Auslegung" der strittigen Marke im Sinne eines Hinweises darauf, dass es sich bei der beanspruchten Ware um ein typisches, traditionsreiches schweizerisches Produkt handelt, ist die Verwendung des Begriffs Auslegung offensichtlich nicht dahingehend zu verstehen, dass sich der Sinn des Zeichens erst durch besonderen gedanklichen Aufwand, d.h. nach eingehender Auslegung, erschliesst. Vielmehr drückte die Vorinstanz mit der zitierten Erwägung gerade das Gegenteil aus, nämlich, dass das Zeichen ohne weiteres als Hinweis auf ein typisches traditionsreiches schweizerisches Produkt verstanden wird, mit dem der angesprochene Durchschnittsabnehmer besondere Qualitätsvorstellungen verbindet.
2.3.2 Weiter argumentiert der Beschwerdeführer, die gedankliche Verbindung zwischen "EIN STÜCK SCHWEZ" und Emmentaler AOC sei das Ergebnis einer Assoziationskette, die dem nach der Rechtsprechung erforderlichen Fantasiegehalt und Gedankenaufwand ohne weiteres genüge. In der Regel werde in einem ersten Assoziationsschritt von der wörtlichen Bedeutung von "EIN STÜCK SCHWEIZ" auf Kultur- und Traditionselemente wie Mundart, Schwingen, Jodeln usw. geschlossen. Erst in einem weiteren Gedankenschritt werde von diesen Elementen allenfalls auf die Herkunft von Emmentaler AOC geschlossen. Zwischen der wörtlichen Bedeutung des Zeichens und der damit verbundenen Anspielung lägen jedenfalls mehrere Assoziationsschritte.
Auch mit diesen Vorbringen vermag der Beschwerdeführer nicht durchzudringen. Die Vorinstanz hat das strittige Zeichen - anders als das IGE in seiner ursprünglichen Begründung - nicht deshalb dem Gemeingut zugerechnet, weil es sich in einem Hinweis auf die Ware erschöpfe, sondern weil es in einer blossen anpreisenden Aussage über dieselbe bestehe. Es geht mithin nicht darum, ob das Zeichen sofort eine gedankliche Verbindung zur beanspruchten Ware hervorruft. Die Argumentation des Beschwerdeführers geht insoweit an der Sache vorbei. Im Übrigen kann der Vorinstanz darin gefolgt werden, dass der streitbetroffene Slogan unmittelbar darauf hinweist, dass es sich bei der beanspruchten Ware um ein typisches, traditionsreiches schweizerisches Produkt handelt, über das bei den massgeblichen Verkehrskreisen besondere Qualitätsvorstellungen bestehen. Die anpreisende Aussage des Zeichens tritt damit sofort und leicht erkennbar hervor, ohne dass ein besonderer Aufwand an Fantasie oder mehrere Gedankenschritte erforderlich wären.
2.3.3 Unbehelflich ist es schliesslich, wenn der Beschwerdeführer weiter vorbringt, es könne ihm bei der markenrechtlichen Beurteilung nicht zum Nachteil gereichen, dass ein echtes Schweizer Produkt wie der Emmentaler AOC aufgrund seiner "Swissness" eine besondere Marktstellung erreichen möge. Dieses Argument trägt nichts zur Beurteilung der entscheidenden Frage bei, ob sich das Zeichen in einem stark anpreisenden Qualitätshinweis erschöpft.
2.3.4 Der Beschwerdeführer bestreitet, dass "EIN STÜCK SCHWEIZ" eine allgemeine bzw. übliche Redewendung sei, namentlich in Verbindung mit Emmentaler. Er rügt sinngemäss, die Vorinstanz habe in diesem Zusammenhang entgegen ihren eigenen zutreffenden Ausführungen zum Beurteilungsmassstab einen unzutreffenden, viel zu strengen Massstab angelegt, indem sie nicht nur untersucht habe, ob die konkrete Redewendung üblich sei, sondern bei ihrer Beurteilung weitere "analoge Wortfolgen der deutschen Alltagssprache" berücksichtigt habe. Zum Nachweis der Üblichkeit von "EIN STÜCK SCHWEIZ" für Emmentaler habe die Vorinstanz Beispiele beigezogen, die mit "EIN STÜCK SCHWEIZ" weder identisch noch vergleichbar seien. Dass "EIN STÜCK SCHWEIZ" im Zusammenhang mit Emmentaler AOC eine allgemein übliche Redewendung sei, habe die Vorinstanz nicht nachgewiesen. Sie verfalle mit dieser Annahme in reine Spekulation.
Mit diesen Vorbringen verkennt der Beschwerdeführer, dass die Vorinstanz ihren Entscheid nicht auf ihre allgemeine Erwägung stützte, wonach alternativ zu den Zeichen direkt beschreibender (bzw. anpreisender) Natur auch Marken zum Gemeingut gehörten, die im Zusammenhang mit den jeweiligen Waren und Dienstleistungen üblicherweise Verwendung fänden. Eine entsprechende Begründung findet sich in der Rückweisungsverfügung des IGE, nicht aber im angefochtenen Entscheid. Die Vorinstanz erkannte, "EIN STÜCK SCHWEIZ" habe im Zusammenhang mit Käse eine anpreisende Bedeutung und erschöpfe sich darin, weil die anpreisende Wirkung nicht mit einer "unüblichen sprachlichen Konstruktion" bereichert werde. Mit der mangelnden unüblichen sprachlichen Konstruktion ist nicht gemeint, dass "EIN STÜCK SCHWEIZ" im Zusammenhang mit Käse gemeinhin oder üblicherweise verwendet werde. Die Vorinstanz drückte damit vielmehr aus, dass die verwendete Redewendung im Zusammenhang mit den beanspruchten Waren nicht als hinreichend originell erscheint, um beim Adressatenkreis als Hinweis auf die beanspruchten Waren in der Erinnerung haften zu bleiben, und dass sie somit dem Zeichen mit anpreisender Bedeutung keine Unterscheidungskraft zu verleihen vermag, dieses sich somit in der anpreisenden Bedeutung erschöpft (vgl. dazu <ref-ruling> E. 6.3.4 S. 456 f.; <ref-ruling> E. 5a S. 388, mit Hinweisen).
Diese Beurteilung ist nicht zu beanstanden. Der Ausdruck "EIN STÜCK" gefolgt von einem Ländernamen ist mit der allgemeinen Redewendung "Ein Stück Heimat" (vgl. dazu GERHARD WAHRIG, Deutsches Wörterbuch, Bertelsmann Lexikon Verlag, Gütersloh 1996, S. 1521) verwandt und kann als zum allgemeinen Sprachgebrauch gehörig gezählt werden. Die Vorinstanz hat denn auch mit Beispielen nachgewiesen, dass die Ausdrücke "Ein Stück Schweiz" und "Ein Stück Frankreich" unter anderem gerade auch im Zusammenhang mit Käse bereits im Gebrauch sind (halbharter Rahmkäse "Ein Stück Schweiz" [http://www.schaukaeserei-engelberg.ch/shop/product_ info. php?info=p2_Ein-Stueck-Schweiz-ca-130gr-.html]; "Das Käse- und Weinangebot. Ein Stück Schweiz" [ttp://www.gasthaus-steinbock.ch/ docs/de/moenchskeller/kaesespezialitaeten.pdf]; "Ein Stück Frankreich am Fusse des Belpbergs", im Zusammenhang mit Weichkäse [vgl. http://www.jenk.ch/weichkaese-chutzli-gerzensee-belpberg/chutzli/]).
Die Verwendung des Slogans "EIN STÜCK SCHWEIZ" für Käse wird nach dem vorstehend Ausgeführten vom massgeblichen Adressatenkreis sofort als anpreisend verstanden. Sie kann auch nicht als besonders originell bezeichnet werden, weshalb die Vorinstanz zu Recht erkannte, sie sei nicht geeignet, um beim angesprochenen Publikum als individualisierender Hinweis im Gedächtnis haften zu bleiben. Als aus dem allgemeinen Sprachgebrauch stammende Redewendung ist die Wortfolge "EIN STÜCK SCHWEIZ" für den Gemeingebrauch frei zu halten (vgl. Urteil 4C.431/2004 vom 2. März 2005 E. 3.2, in: sic! 6/2005 S. 463 ff. ["c'est bon la vie"]).
3. Zusammenfassend verletzte die Vorinstanz kein Bundesrecht, indem sie das streitbetroffene Zeichen dem Gemeingut im Sinne von <ref-law> zuordnete und die Rückweisungsverfügung des IGE gegen die Eintragung desselben im Markenregister bestätigte. Die Beschwerde ist abzuweisen.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Dem Beschwerdegegner ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht, Abteilung II, schriftlich mitgeteilt.
Lausanne, 19. September 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer