Sachverhalt: A. Für den im Rahmen des Konzeptes "Bahn 2000" vorgesehenen Doppelspurausbau der Bahnstrecke Fischermätteli-Weissenbühl in Bern liess die Gürbetal-Bern-Schwarzenburg-Bahn (GBS) als damals verantwortliche Unternehmung im März 1998 u.a. gegen die Eigentümer der Liegenschaft Weissensteinstrasse ein Enteignungsverfahren einleiten. Ab dieser Parzelle ist längs der Bahnlinie ein schmaler Landstreifen von 3 m2 definitiv abzutreten. Zudem ist während den - nunmehr abgeschlossenen - Bauarbeiten eine Teilfläche von 45 m2 vorübergehend in Anspruch genommen worden. Auf der (neuen) bahnseitigen Grenze des mit einem vierstöckigen Reihenhaus überbauten Grundstücks stehen heute eine 2,15 m hohe Stützmauer und eine Lärmschutzwand von zusätzlich 2,20 m. Während der Auflagefrist meldeten die Grundeigentümer, die Erben des W._, eine Entschädigungsforderung von Fr. 800.--/m2 für die enteignete Landfläche sowie von Fr. 223'360.-- für den Minderwert der Restliegenschaft an. Ausserdem verlangten sie eine Inkonvenienzentschädigung für Reinigungsarbeiten und die Wiederherstellung der Gartenanlage. Die als Nachfolgerin der GBS ins Verfahren eingetretene BLS Lötschbergbahn AG bestritt, dass eine Minderwertsentschädigung geschuldet werde. Die Einigungsverhandlung vom 26. Oktober 1998 vor der Eidgenössischen Schätzungskommission, Kreis 6, verlief erfolglos. Mit Verfügung vom 6. Dezember 2001 hielt der Präsident der Schätzungskommission fest, dass die Enteigneten der vorzeitigen Besitzeinweisung zugestimmt hätten und der Bahn gestattet werde, ab 4. Februar 2002 vom beanspruchten Boden Besitz zu ergreifen. Im Nachgang zur Schätzungsverhandlung vom 24. August 2004 unterbreitete die Eidgenössische Schätzungskommission den Parteien einen Vergleichsvorschlag, der von den Enteigneten angenommen, von der Enteignerin dagegen abgelehnt wurde. B. Mit Entscheid vom 22. November 2004 sprach die Eidgenössische Schätzungskommission, Kreis 6, den Eigentümern des Grundstücks Nr. _ für die Enteignung einer Bodenteilfläche von 3 m2 Fr. 2'400.-- (Dispositiv Ziffer 3.1), für den durch Sonnen- und Lichtentzug entstandenen Minderwert Fr. 5'539.-- (Dispositiv Ziffer 3.2) und für Inkonvenienzen während der Bauzeit Fr. 1'000.-- (Dispositiv Ziffer 3.3) zu, alles zuzüglich Zins ab 26. Oktober 1998. Die Entschädigungsbegehren der Enteigneten für Lärm- und Staubimmissionen während der Bauzeit und seit Inbetriebnahme des zweiten Geleises erklärte die Kommission für unbegründet. C. Gegen den Entscheid der Eidgenössischen Schätzungskommission hat die BLS Lötschbergbahn AG Verwaltungsgerichtsbeschwerde erhoben mit dem Hauptantrag, Ziffer 3 des angefochtenen Entscheides sei aufzuheben und das Gesuch um Ausrichtung einer Entschädigung abzuweisen. Die Beschwerdeführerin stellt den Eventualantrag, den Enteigneten sei eine Fr. 2'000.-- nicht übersteigende Entschädigung zuzusprechen, zuzüglich Zins seit 26. Oktober 1998 auf Fr. 1'000.-- (Entschädigung Landwert) und seit 1. Mai 2002 auf Fr. 2'000.-- (Entschädigung Landwert und Inkonvenienzen). Schliesslich verlangt die Enteignerin subeventualiter, dass Ziffern 3.2 und 3.3 des angefochtenen Entscheides insoweit aufgehoben würden, als die Beschwerdeführerin zur Zahlung von Zinsen für den Zeitraum vor dem 1. Mai 2002 verpflichtet worden sei. Mit Anschlussbeschwerde verlangen die Enteigneten, dass Ziffer 3 des angefochtenen Entscheides aufgehoben und die BLS Lötschbergbahn AG verpflichtet werde, ihnen für den Minderwert ihrer Liegenschaft Fr. 163'000.-- zuzüglich Zins ab 26. Oktober 1998 zu bezahlen. Die Parteien stellen Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde bzw. der Anschlussbeschwerde der Gegenpartei. Die Eidgenössische Schätzungskommission, Kreis 6, ersucht um Abweisung beider Beschwerden.