Sachverhalt: A. X._ betreibt auf der in der Landwirtschaftszone gelegenen Parzelle Gbbl. Nr. 957 in der Einwohnergemeinde Gadmen seit 2004 ein Heim für vernachlässigte Hunde, insbesondere Windhunde ("Windhundhilfe"). Die Hunde hält er im Wohnhaus Schwendi 22a, d.h. im östlichen Teil des Doppelwohnhauses Schwendi 22/22a. Im Freien hat er zusätzlich einen Hundezwinger und Auslaufgehege errichtet. Auf Aufforderung der Gemeinde reichte er am 29. Oktober 2008 ein nachträgliches Baugesuch ein, worin er um eine Bewilligung für das Halten von maximal 19 Hunden und für die Auslaufgehege ersuchte. Hiergegen erhoben A._ (Eigentümer des Wohnhauses Schwendi 22, d.h. des westlichen Teils des Doppelwohnhauses Schwendi 22/22a; im Folgenden: Beschwerdegegner 1) sowie weitere Eigentümer benachbarter Liegenschaften Einsprache. Am 13. August 2009 führte die Fachstelle für Lärmakustik und Lasertechnik der Kantonspolizei einen Augenschein durch. In ihrem Fachbericht Lärm vom 10. September 2009 kam sie zum Ergebnis, dass das Halten von maximal 19 Hunden im Wohnhaus und in den Auslaufgehegen in den mindestens 60 m entfernten Liegenschaften höchstens geringfügige Störungen verursache. Dagegen seien die von der Hundehaltung im Freien (Auslauf) ausgehenden Lärmimmissionen mit Blick auf die nächste Nachbarschaft (Hausteil Schwendi 22) als erheblich störend einzustufen; ebenso könne die Haltung der Hunde im Innern des Wohnhauses Schwendi 22a erhebliche Störungen und unter Umständen Weckreaktionen im Hausteil Schwendi 22 hervorrufen. Mit Verfügung vom 14. Dezember 2009 verweigerte das Amt für Gemeinden und Raumordnung des Kantons Bern (AGR) die verlangte Ausnahmebewilligung für Bauten und Anlagen ausserhalb der Bauzone gemäss Art. 24 des Raumplanungsgesetzes (RPG; SR 700). Mit Gesamtentscheid vom 9. Juni 2010 wies das Regierungsstatthalteramt Interlaken-Oberhasli daraufhin das Baugesuch ab und forderte X._ auf, die bestehende Umzäunung sowie diverse Kleinbauten (Gehege und Hundezwinger) innerhalb von zwei Monaten zu entfernen. B. Dagegen führte X._ am 8. Juli 2010 Beschwerde bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern (BVE). Diese lud die E._ AG (Eigentümerin der Parzelle Nr. 957 und Vermieterin des Beschwerdeführers) zum Verfahren bei. Mit Entscheid vom 14. Dezember 2010 verlängerte sie die Frist für die Herstellung des rechtmässigen Zustands auf ein Jahr ab Rechtskraft ihres Entscheides; im Übrigen wies sie die Beschwerde ab und ergänzte den Entscheid des Regierungsstatthalter dahin, dass X._ den Bestand seiner Hunde auf 4 Tiere zu reduzieren habe. C. Dagegen gelangte X._ am 14. Januar 2011 mit Beschwerde ans Verwaltungsgericht des Kantons Bern. Dieses wies die Beschwerde am 5. Oktober 2011 ab. D. Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 7. November 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und ihm sei die Baubewilligung zu erteilen. Eventualiter sei die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Subeventualiter seien ihm die Umzäunungen und Hundezwinger zu belassen mit der Auflage, innert eines Jahres seinen Hundebestand auf maximal 12 Tiere zu reduzieren. E. Die privaten Beschwerdegegner, das Verwaltungsgericht und die BVE sowie die Gemeinde Gadmen beantragen die Abweisung der Beschwerde. Die E._ AG teilt mit, sie sei nicht Partei des Beschwerdeverfahrens. Das BAFU kommt in seiner Vernehmlassung zum Ergebnis, dass der angefochtene Entscheid mit der Lärmschutzgesetzgebung des Bundes konform sei. Auch aufgrund seiner Erfahrungen führe die Haltung von 19 Hunden in der direkten Nachbarschaft zu mehr als nur geringfügigen Störungen. Am 30. März 2012 verzichtete der Beschwerdeführer auf eine Replik. F. Mit Verfügung vom 2. Dezember 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen. G. Die Gemeinde Gadmen und die Beschwerdegegner teilen mit, dass der Beschwerdeführer mittlerweile über 40 Hunde halte und auch die Umzäunung des Auslaufgeheges erweitert habe. Die Gemeinde erliess deshalb am 19. Mai 2011 einen Baustopp und ordnete bis zum rechtskräftigen Entscheid in vorliegender Sache die Reduktion der Anzahl Hunde auf 19 (gemäss Baugesuch) an. Am 11. Januar 2012 wies die BVE die dagegen erhobene Beschwerde ab, soweit sie darauf eintrat. Am 17. Juni 2011 reichte der Beschwerdeführer ein neues nachträgliches Baugesuch für die Haltung von maximal 40 Hunden ein.