Sachverhalt:
A. Der 1964 geborene A._ war ab 1982 bei der Schweizerischen Post (ehemals: PTT; nachfolgend: Post) im Briefzentrum Biel/Bienne angestellt, zuletzt mit einem Beschäftigungsgrad von 71.43 %. Auf den 31. Oktober 2008 wurde das Briefzentrum Biel/Bienne im Rahmen der Neukonzeption der Briefzentren ("Reengineering Mailprocessing", kurz: REMA) aufgehoben. Im Hinblick auf die Neukonzeption hatten die Post und ihre Sozialpartner den "Sozialplan für die Umsetzung REMA" (nachfolgend: Sozialplan REMA) vereinbart. A._ wurde diesem unterstellt und entsprechend begleitet. Die Post erliess in der Folge am 17. April 2008 und am 23. März 2009 Kündigungsverfügungen, welche sie aber zurücknahm. Eine von ihr angestrebte vergleichsweise Beendigung des Arbeitsverhältnisses kam nicht zustande. Hierauf kündigte die Post das Anstellungsverhältnis mit Verfügung vom 5. November 2009 gestützt auf Ziff. 124 lit. c und e Anhang 4 des Gesamtarbeitsvertrages Post (nachfolgend: GAV Post) auf den 31. Mai 2010. Ende Mai 2010 leistete sie die letzte Lohnzahlung an A._, mitsamt einer Auszahlung nicht bezogener Ferien, einer anteilsmässigen Treueprämie, einer Abgangsentschädigung gemäss Sozialplan REMA sowie Nachts- und Sonntagszulagen. Die von A._ gegen die Verfügung vom 5. November 2009 erhobene Beschwerde wies der Konzernleiter Post mit Entscheid vom 7. Juli 2010 ab, soweit sie nicht als gegenstandslos betrachtet wurde.
B. A._ reichte beim Bundesverwaltungsgericht Beschwerde ein. Er beantragte, die Kündigungsverfügung vom 5. November 2009 und der Beschwerdeentscheid vom 7. Juli 2010 seien aufzuheben, die Post sei zu verpflichten, ihm eine zumutbare Stelle anzubieten, und die Entschädigung gemäss Sozialplan REMA sowie die Treueprämie seien neu zu berechnen und anzupassen. Das Bundesverwaltungsgericht hiess die Beschwerde teilweise gut und verpflichtete die Post, A._ zusätzlich zu den bereits geleisteten Entschädigungen und Prämien Fr. 6'127.25 als Abgangsentschädigung und Fr. 5'161.50 als Treueprämie zu bezahlen (Entscheid vom 3. Februar 2011).
C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der vorinstanzliche Entscheid und die von der Post ausgesprochene Kündigung seien aufzuheben.
Die Post verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Aus der Beschwerdebegründung ergibt sich, dass der vorinstanzliche Entscheid einzig soweit angefochten werden soll, als dieser den Anträgen, es sei die Kündigung aufzuheben und die Post zur Zuweisung einer zumutbaren Stelle zu verpflichten, nicht gefolgt ist.
Soweit ausdrücklich beantragt wird, es seien die in der Sache ergangenen Akten beizuziehen, hat es mit dem Hinweis sein Bewenden, dass diese durch die Vorinstanz eingereicht wurden.
2. 2.1 Angefochten ist ein Endentscheid (Art. 90 BGG) des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a BGG), welcher ein öffentlich-rechtliches Arbeitsverhältnis (Art. 15 Abs. 1 des Bundesgesetzes vom 30. April 1997 über die Organisation der Postunternehmung des Bundes vom 30. April 1997 [POG] und Art. 38 Abs. 1 des Bundespersonalgesetzes vom 24. März 2000 [BPG]) und damit eine Angelegenheit des öffentlichen Rechts betrifft (Art. 82 lit. a BGG) sowie infolge seiner Auswirkungen auf Lohnansprüche vermögensrechtlicher Natur ist (Art. 83 lit. g BGG). Das Streitwerterfordernis (Art. 85 Abs. 1 lit. b BGG) ist erfüllt. Gleiches gilt für die übrigen Voraussetzungen für das Eintreten auf die Beschwerde.
2.2 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (vgl. <ref-ruling> E. 1.4.1 S. 254; Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 35 S. 120; siehe auch <ref-ruling> E. 2.5 S. 314). Hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gilt eine qualifizierte Rügepflicht (vgl. Art. 106 Abs. 2 BGG). Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 S. 53; vgl. auch <ref-ruling> E. 2.5 S. 314).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
3. Die am 5. November 2009 verfügte Kündigung stützt sich auf Ziff. 124 lit. c und e Anhang 4 des - gemäss seiner Eingangsklausel in Anwendung von Art. 38 BPG abgeschlossenen - GAV Post. Danach kann die Post nach Ablauf der Probezeit aus folgenden Gründen ordentlich kündigen:
c) mangelnde Eignung, Tauglichkeit oder Bereitschaft, die im Arbeitsvertrag vereinbarte Arbeit zu verrichten;
e) schwer wiegende wirtschaftliche oder betriebliche Gründe, sofern die Person der/dem betroffenen Mitarbeitenden keine zumutbare andere Arbeit anbieten kann; die Einzelheiten sind im Anhang 5 geregelt.
Besagter Anhang 5 GAV Post enthält im Abschnitt Bestimmungen im Hinblick auf betriebsorganisatorische und strukturelle Veränderungen sowie deren Auswirkungen auf die Einzelarbeitsverträge. Weitere, im Zusammenhang mit der Neukonzeption der Briefzentren stehende Regelungen finden sich im - gemäss seiner Ziff. 2 gestützt auf Art. 31 Abs. 4 BPG sowie Ziff. 61 und Anhang 5 GAV Post ergangenen - Sozialplan REMA.
4. Das Bundesverwaltungsgericht ist zum Ergebnis gelangt, beide von der Post angegebenen Kündigungsgründe seien erfüllt. Zum einen sei wegen medizinisch begründeter Arbeitsunfähigkeit des Beschwerdeführers dessen Tauglichkeit, die im Arbeitsvertrag vereinbarte Arbeit zu verrichten, im Sinne von Ziff. 124 lit. c Anhang 4 GAV Post nicht mehr gegeben gewesen. Zum anderen habe mit der Aufhebung des Briefzentrums Biel/Bienne ein schwer wiegender Grund für eine Kündigung im Sinne von Ziff. 124 lit. e Anhang 4 GAV Post vorgelegen. Dabei habe die Post dem Beschwerdeführer eine andere zumutbare Stelle angeboten, welche von diesem jedoch nicht angenommen worden sei. Die Post sei demnach ihrer Verpflichtung gemäss Ziff. 124 lit. e Anhang 4 GAV Post in Verbindung mit Ziff. 5.4.1 Sozialplan REMA, der betroffenen Person mindestens ein zumutbares Stellenangebot zu unterbreiten, nachgekommen.
5. In der Beschwerde wird zunächst eingewendet, die Kündigung sei missbräuchlich im Sinne von Art. 336 OR. Denn sie habe als Rachekündigung darauf hingezielt, den Beschwerdeführer zu bestrafen für den Versuch, seinen Anspruch auf Ausschöpfung aller Beschäftigungsmöglichkeiten durch die Post durchzusetzen.
Gemäss Art. 14 Abs. 3 lit. a BPG bietet der Arbeitgeber der betroffenen Person die bisherige oder, wenn dies nicht möglich ist, eine zumutbare andere Arbeit an, wenn er oder die Beschwerdeinstanz die Kündigung aufgehoben hat, weil sie missbräuchlich nach Art. 336 OR ist. Eine gleichlautende Regelung findet sich in Ziff. 32 lit. a Anhang 4 GAV Post.
Das Bundesverwaltungsgericht hat erwogen, zwar habe die Post zuvor bereits zwei Kündigungen ausgesprochen und wieder zurückgenommen. Es bestünden aber weder hinreichend substanziierte Vorbringen noch anderweitige Anzeichen, dass der Kündigung vom 5. November 2009 andere als die angegebenen Motive zugrunde gelegen hätten. Namentlich sei kein Zusammenhang zwischen der Anfechtung der vorangegangenen Kündigungen und den Forderungen des Beschwerdeführers ersichtlich.
Diese Beurteilung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Es bestehen keine verlässlichen Anhaltspunkte dafür, dass die hier streitige Kündigung aufgrund vorangegangener Bemühungen des Beschwerdeführers um Weiterbeschäftigung ausgesprochen wurde. Andere Umstände, welche allenfalls auf einen Missbrauchstatbestand im Sinne von Art. 336 OR schliessen lassen könnten, liegen ebenfalls nicht vor.
6. Der Beschwerdeführer äussert sich sodann zum Kündigungsgrund gemäss Art. 124 lit. e Anhang 4 GAV Post. Er bestreitet, dass ihm eine zumutbare Stelle angeboten wurde. Demzufolge sei die Post ihren Verpflichtungen gemäss dieser GAV-Bestimmung nicht nachgekommen, was zur Aufhebung der auf den entsprechenden Kündigungsgrund gestützten Entlassung führen müsse. Sodann verletze der angefochtene Entscheid auch das Willkürverbot und den Grundsatz der Verhältnismässigkeit.
6.1 Umstritten ist vorab, ob überhaupt ein Stellenangebot der Post erfolgt ist.
Das Bundesverwaltungsgericht hat erkannt, aus den Akten und den Eingaben der Parteien ergebe sich, dass die Briefzustellregion (BZR) Biel sich dafür interessiert habe, mit dem Beschwerdeführer eine Vakanz zu besetzen. Der Beschwerdeführer sei denn auch aufgefordert worden, sich dort zu bewerben. Das habe er unterschriftlich bestätigt, sich dann aber nicht beworben. Ein Stellenangebot habe damit vorgelegen. Daran ändere nichts, dass dem Beschwerdeführer im Zeitpunkt, in welchem er zur Bewerbung aufgefordert worden sei, noch nicht alle Einzelheiten zu dieser Arbeitsstelle bekannt gewesen seien.
In der Beschwerde wird nichts vorgebracht, was diese Beurteilung als offensichtlich unrichtig oder in anderer Weise rechtsverletzend erscheinen liesse. Das gilt auch, soweit erneut geltend gemacht wird, eine Bewerbung wäre von zusätzlichen Informationen über die Stelle abhängig gewesen: Der Beschwerdeführer wurde am 18. Oktober 2007 mündlich informiert, dass in der BZR Biel eine Stelle als Zusteller (FS 2, Beschäftigungsgrad 50-70 %) ausgeschrieben sei. Diese Stelle entspreche den Prioritäten, welche der Beschwerdeführer vorgängig angegeben habe und erfülle die im Sozialplan REMA genannten Zumutbarkeitskriterien. Dass ihm dies so eröffnet wurde, hat der Beschwerdeführer am 18. Oktober 2007 unterschriftlich bestätigt. Er kann sich nun nicht darauf berufen, sich aufgrund noch offener Fragen nicht für die Stelle beworben zu haben. Auch sein Vorbringen, der zuständige Begleiter im Sozialplan REMA, welcher ihm dieses Angebot am 18. Oktober 2007 unterbreitete, habe hiebei nicht sämtliche Fragen beantworten können, hilft nicht weiter. Unter den gegebenen Umständen wäre vom Beschwerdeführer zu erwarten gewesen, dass er sich vor einem Verzicht auf eine Bewerbung aktiver um Klärung allfälliger für ihn noch offener Fragen bemüht hätte. Der Beschwerdeführer kann sich diesbezüglich auch nicht mit dem Einwand entlasten, man habe ihm nicht angegeben, an wen er sich wenden müsse. Es hätte sich namentlich in für ihn erkennbarer Weise angeboten, direkt bei der BZR Biel nachzufragen, zumal der Beschwerdeführer dort bereits eine Stage absolviert hatte, was eine direkte Kontaktaufnahme zweifellos noch erleichtert hätte. Im Übrigen hätte sich eine solche Klärung spätestens im Rahmen von Bewerbungsgesprächen geboten. Mit der Vorinstanz ist daher festzustellen, dass ein Stellenangebot erfolgt ist.
6.2 Die Vorinstanz hat sodann die Zumutbarkeit der angebotenen Stelle im Sinne u.a. von Ziff. 5.4.4.1 Sozialplan REMA bejaht.
Der Beschwerdeführer vertritt die gegenteilige Auffassung. Er postuliert dabei zunächst, es liege an der Post, die Zumutbarkeit der angebotenen Stelle nachzuweisen. Darin kann ihm nicht gefolgt werden. Wenn er sich auf Unzumutbarkeit der Stelle beruft, liegt es an ihm, die dies stützenden Aspekte darzutun.
Weiter wird erneut eingewendet, es seien nicht sämtliche Umstände der angebotenen Stelle bekannt gewesen. Das lässt die Stelle indessen nicht als unzumutbar erscheinen, zumal es nach dem zuvor Gesagten am Beschwerdeführer gelegen wäre, vor dem Verzicht auf die Bewerbung den für ihn noch offenen Fragen aktiver nachzugehen.
Der Beschwerdeführer bringt sodann vor, das Einzugsgebiet der Bieler Briefausgabe sei weit und reiche an Orte heran, welche zu Beginn des Dienstes nicht mit dem öffentlichen Verkehr erreicht werden könnten. Damit ist aber ebenfalls nicht dargetan, die angebotene Stelle sei unzumutbar, zumal nicht feststeht - und vom Beschwerdeführer offensichtlich auch nicht erfragt wurde -, wo der konkrete Einsatz erfolgt wäre und ob damit entsprechende Erschwernisse verbunden gewesen wären.
Ein weiterer Einwand geht dahin, der Beschwerdeführer habe während seiner langjährigen Dienstzeit bei der Post ausschliesslich Nachtarbeit geleistet. Die angebotene Arbeit hätte hingegen am Morgen ausgeübt werden müssen. Damit lässt sich aber ebenfalls nicht begründen, die Stelle wäre unzumutbar gewesen.
Aufgrund der bisher behandelnden Vorbringen des Beschwerdeführers kann die vorinstanzliche Beurteilung somit nicht als bundesrechtswidrig betrachtet werden.
6.3 Geltend gemacht wird weiter, der angefochtene Entscheid verletze das Willkürverbot und das Gebot der Verhältnismässigkeit.
6.3.1 Die Willkürrüge wird zunächst damit begründet, andere Angestellte mit wesentlich schlechteren Mitarbeiterbeurteilungen und weniger Dienstjahren seien von der Post weiterbeschäftigt worden.
Offenbar geht es um Mitarbeiter, die dem Beschwerdeführer bekannt sind. Dieser unterlässt es jedoch, nähere Angaben zu machen und insbesondere Namen zu nennen. Es fehlt demnach an konkreten Indizien, welche die Behauptung zu stützen vermöchten. Der Beschwerdeführer hat somit die sachverhaltliche Grundlage seiner Rüge nicht genügend substanziiert. Zwar wird der Antrag gestellt, es sei von der Post die Herausgabe der "Daten über das berufliche Schicksal von vergleichbaren Mitarbeitern" zu verlangen. Dies soll indessen offensichtlich dazu dienen, dem Beschwerdeführer die sachverhaltliche Grundlage seiner Rüge zu verschaffen. Das stellt ein unzulässiges Ausforschungsbegehren dar, welchem nicht stattzugeben ist (vgl. Urteil 8C_199/2010 vom 23. März 2011 E. 5.3 mit Hinweis). Damit kann offenbleiben, ob eine allfällige Andersbehandlung weiterer Mitarbeiter den angefochtenen Entscheid als offensichtlich unhaltbar im Sinne des verfassungsrechtlichen Willkürverbotes (Art. 9 BV; vgl. <ref-ruling> E. 2.4 S. 5; <ref-ruling> E. 2.2.2 S. 318 f.; je mit Hinweisen) erscheinen liesse.
6.3.2 Der Beschwerdeführer beruft sich weiter auf seine 26jährige Dienstzeit bei der Post. Bei der gebotenen gesamthaften Betrachtung lässt dieser Umstand aber den angefochtenen Entscheid nicht als offensichtlich unhaltbar erscheinen und ist eine Verletzung des Verhältnismässigkeitsgebotes (Art. 5 Abs. 2 i.V.m. Art. 36 Abs. 3 BV) ebenfalls zu verneinen. Die Beschwerde ist somit auch diesbezüglich unbegründet. Die lange Dienstzeit entlastete den Beschwerdeführer nicht davon, sich in zumutbarer Weise um die intern offene Stelle zu bemühen.
7. Liegt nach dem Gesagten ein Kündigungsgrund gemäss Ziff. 124 lit. e Anhang 4 GAV Post vor, kann die - ebenfalls umstrittene Frage - offenbleiben, ob auch der Kündigungsgrund gemäss lit. c dieser Bestimmung als erfüllt zu betrachten wäre. Denn auch wenn dies zu verneinen wäre, bliebe es aufgrund von Ziff. 124 lit. e Anhang 4 GAV Post bei der ausgesprochenen Kündigung. Zwar könnte eine Verneinung des Kündigungsgrundes nach lit. c allenfalls eine höhere Entschädigung rechtfertigen. Eine solche wird aber nicht geltend gemacht.
8. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Luzern, 10. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz