Sachverhalt:
A. X._ betreibt auf der in der Landwirtschaftszone gelegenen Parzelle Gbbl. Nr. 957 in der Einwohnergemeinde Gadmen seit 2004 ein Heim für vernachlässigte Hunde, insbesondere Windhunde ("Windhundhilfe"). Die Hunde hält er im Wohnhaus Schwendi 22a, d.h. im östlichen Teil des Doppelwohnhauses Schwendi 22/22a. Im Freien hat er zusätzlich einen Hundezwinger und Auslaufgehege errichtet. Auf Aufforderung der Gemeinde reichte er am 29. Oktober 2008 ein nachträgliches Baugesuch ein, worin er um eine Bewilligung für das Halten von maximal 19 Hunden und für die Auslaufgehege ersuchte.
Hiergegen erhoben A._ (Eigentümer des Wohnhauses Schwendi 22, d.h. des westlichen Teils des Doppelwohnhauses Schwendi 22/22a; im Folgenden: Beschwerdegegner 1) sowie weitere Eigentümer benachbarter Liegenschaften Einsprache.
Am 13. August 2009 führte die Fachstelle für Lärmakustik und Lasertechnik der Kantonspolizei einen Augenschein durch. In ihrem Fachbericht Lärm vom 10. September 2009 kam sie zum Ergebnis, dass das Halten von maximal 19 Hunden im Wohnhaus und in den Auslaufgehegen in den mindestens 60 m entfernten Liegenschaften höchstens geringfügige Störungen verursache. Dagegen seien die von der Hundehaltung im Freien (Auslauf) ausgehenden Lärmimmissionen mit Blick auf die nächste Nachbarschaft (Hausteil Schwendi 22) als erheblich störend einzustufen; ebenso könne die Haltung der Hunde im Innern des Wohnhauses Schwendi 22a erhebliche Störungen und unter Umständen Weckreaktionen im Hausteil Schwendi 22 hervorrufen.
Mit Verfügung vom 14. Dezember 2009 verweigerte das Amt für Gemeinden und Raumordnung des Kantons Bern (AGR) die verlangte Ausnahmebewilligung für Bauten und Anlagen ausserhalb der Bauzone gemäss Art. 24 des Raumplanungsgesetzes (RPG; SR 700). Mit Gesamtentscheid vom 9. Juni 2010 wies das Regierungsstatthalteramt Interlaken-Oberhasli daraufhin das Baugesuch ab und forderte X._ auf, die bestehende Umzäunung sowie diverse Kleinbauten (Gehege und Hundezwinger) innerhalb von zwei Monaten zu entfernen.
B. Dagegen führte X._ am 8. Juli 2010 Beschwerde bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern (BVE). Diese lud die E._ AG (Eigentümerin der Parzelle Nr. 957 und Vermieterin des Beschwerdeführers) zum Verfahren bei. Mit Entscheid vom 14. Dezember 2010 verlängerte sie die Frist für die Herstellung des rechtmässigen Zustands auf ein Jahr ab Rechtskraft ihres Entscheides; im Übrigen wies sie die Beschwerde ab und ergänzte den Entscheid des Regierungsstatthalter dahin, dass X._ den Bestand seiner Hunde auf 4 Tiere zu reduzieren habe.
C. Dagegen gelangte X._ am 14. Januar 2011 mit Beschwerde ans Verwaltungsgericht des Kantons Bern. Dieses wies die Beschwerde am 5. Oktober 2011 ab.
D. Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 7. November 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und ihm sei die Baubewilligung zu erteilen. Eventualiter sei die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Subeventualiter seien ihm die Umzäunungen und Hundezwinger zu belassen mit der Auflage, innert eines Jahres seinen Hundebestand auf maximal 12 Tiere zu reduzieren.
E. Die privaten Beschwerdegegner, das Verwaltungsgericht und die BVE sowie die Gemeinde Gadmen beantragen die Abweisung der Beschwerde. Die E._ AG teilt mit, sie sei nicht Partei des Beschwerdeverfahrens.
Das BAFU kommt in seiner Vernehmlassung zum Ergebnis, dass der angefochtene Entscheid mit der Lärmschutzgesetzgebung des Bundes konform sei. Auch aufgrund seiner Erfahrungen führe die Haltung von 19 Hunden in der direkten Nachbarschaft zu mehr als nur geringfügigen Störungen.
Am 30. März 2012 verzichtete der Beschwerdeführer auf eine Replik.
F. Mit Verfügung vom 2. Dezember 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen.
G. Die Gemeinde Gadmen und die Beschwerdegegner teilen mit, dass der Beschwerdeführer mittlerweile über 40 Hunde halte und auch die Umzäunung des Auslaufgeheges erweitert habe.
Die Gemeinde erliess deshalb am 19. Mai 2011 einen Baustopp und ordnete bis zum rechtskräftigen Entscheid in vorliegender Sache die Reduktion der Anzahl Hunde auf 19 (gemäss Baugesuch) an. Am 11. Januar 2012 wies die BVE die dagegen erhobene Beschwerde ab, soweit sie darauf eintrat.
Am 17. Juni 2011 reichte der Beschwerdeführer ein neues nachträgliches Baugesuch für die Haltung von maximal 40 Hunden ein.

Erwägungen:
1. Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Bundesrecht (mit Ausnahme der Grundrechte) von Amtes wegen an (Art. 106 BGG). Es ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. Die Vorinstanzen verweigerten die Erteilung der Baubewilligung, weil der Betrieb des Hundeheims gegen bundesrechtliche Lärmschutzvorschriften verstosse. Dabei gingen sie davon aus, dass die Windhundhilfe lärmschutzrechtlich als neue ortsfeste Anlage i.S.v. Art. 25 des Umweltschutzgesetzes (USG; SR 814.01) und Art. 7 der Lärmschutz-Verordnung vom 15. Dezember 1986 (LSV; SR 814.41) zu qualifizieren sei. Dies wird vom Beschwerdeführer bestritten; seines Erachtens handelt es sich nicht um eine ortsfeste Anlage; zudem sei sie nicht neu. Wenn überhaupt, so handle es sich um die Änderung einer bestehenden Anlage i.S.v. Art. 8 Abs. 1 LSV. Dies ist im Folgenden zu prüfen.
2.1 Art. 7 Abs. 7 USG definiert "Anlagen" als "Bauten, Verkehrswege und andere ortsfeste Einrichtungen sowie Terrainveränderungen", und stellt ihnen Geräte, Maschinen, Fahrzeuge, Schiffe und Luftfahrzeuge gleich. Die Lärmschutz-Verordnung differenziert ihrerseits zwischen Fahrzeugen (Art. 3 LSV), beweglichen Geräten und Maschinen (Art. 4 ff. LSV) und ortsfesten Anlagen (Art. 7 ff. LSV). Als solche gelten "Bauten, Verkehrsanlagen, haustechnische Anlagen und andere nichtbewegliche Einrichtungen, die beim Betrieb Aussenlärm erzeugen" (Art. 2 Abs. 1 LSV).
Die Windhundhilfe wird in der vom Beschwerdeführer bewohnten Haushälfte (d.h. einer Baute) und den dazugehörigen Aussengehegen betrieben. Es ist unstreitig, dass die Hundehaltung Lärm verursacht (insbesondere Bellen), der im Freien wahrgenommen werden kann. Für den Anlagenbegriff spielt es - entgegen der Auffassung des Beschwerdeführers - keine Rolle, ob der Lärm übermässig ist. Insofern handelt es sich offensichtlich um eine ortsfeste Anlage (so schon Urteile 1A.276/2000 vom 13. August 2001 E. 3a, in: URP 2001 S. 1101; RDAF 2002 I S. 377 betr. Hundeasyl; Urteil vom 1. Dezember 1994 E. 1c, URP 1995 S. 31, betr. gewerblichen Hundezucht).
2.2 Als neu gelten alle Anlagen, deren Baubewilligung erst nach Inkrafttreten des USG erteilt bzw. rechtskräftig geworden ist (Art. 47 LSV) sowie bestehende Anlagen, deren Zweck vollständig geändert wird (Art. 2 Abs. 2 LSV). Gleichgestellt werden die Fälle der sogenannten übergewichtigen Erweiterung, in denen eine bestehende Anlage baulich oder betrieblich soweit verändert wird, dass das Bestehende im Vergleich zum Neuen nur noch von untergeordneter Bedeutung ist (vgl. <ref-ruling> E. 7.2 S. 201 mit Hinweis). Für die Abgrenzung sind vor allem ökologische Kriterien, im Speziellen des Lärmschutzes, und generell die dem Gesetz zu Grunde liegende Zielsetzung der Vorsorge massgeblich (<ref-ruling> E. 4c/aa S. 329 mit Hinweis).
Das Verwaltungsgericht ging davon aus, dass unter Lärmschutz-Gesichtspunkten die Unterbringung von ca. 20 Hunden so dominiere, dass die Wohnnutzung durch den Beschwerdeführer völlig in den Hintergrund trete. Dem ist zuzustimmen.
Unbehelflich ist auch der Einwand des Beschwerdeführers, das Gebäude habe schon früher der Landwirtschaft bzw. dem Gewerbe gedient. Er bringt nicht vor, dass mit dieser Nutzung Lärm verbunden gewesen wäre, der mit dem vorliegend streitigen Hundelärm (insbesondere Bellen) vergleichbar gewesen wäre, insbesondere von Charakter, Intensität, Zeitpunkt und Häufigkeit seines Auftretens. Dies ist auch nicht ersichtlich. Im Übrigen wurde die landwirtschaftliche bzw. gewerbliche Nutzung der Baute schon seit geraumer Zeit aufgegeben.
Die vom Beschwerdeführer erstellten Aussenanlagen (Zwinger, Auslaufgehege) wurden noch nie bewilligt und sind somit unstreitig neu.
Nach dem Gesagten ist daher die Anwendung von Art. 25 USG und Art. 7 LSV nicht zu beanstanden.
3. Nach diesen Bestimmungen dürfen die (Aussen-)Lärmemissionen, die von einer neuen ortsfesten Anlage allein erzeugt werden, die Planungswerte nicht überschreiten. Sofern (wie für Hundelärm) keine spezifischen Planungswerte vorliegen, sind die Lärmimmissionen im Einzelfall nach Massgabe von Art. 15, 19 und 23 USG zu beurteilen (Art. 40 Abs. 3 LSV). Dabei dürfen neue ortsfeste Anlagen höchstens geringfügige Störungen verursachen (<ref-ruling> E. 2.2 S. 36; <ref-ruling> E. 4d/bb S. 335; speziell zu Hundegebell: Urteil 1A.276/2000 vom 13. August 2001 E. 3b, in: URP 2001 S. 1101).
Dies gilt - zumindest sinngemäss - auch für den Innenlärm, d.h. den Lärm, der sich über die Gebäudestrukturen fortpflanzt und in den lärmempfindlichen Räumen des Beschwerdegegners 1 (Haushälfte Schwendi 22) wahrnehmbar ist (vgl. ROBERT WOLF, USG-Kommentar, N. 60 f. zu Art. 25 USG; Urteil 1A.111/1998 vom 20. November 1998 E. 3b, in: URP 1999 S. 264; RDAF 2000 I S. 792). Wie das Verwaltungsgericht zutreffend dargelegt hat (E. 2.2.4 des angefochtenen Entscheids), sind für die Beurteilung der Innenlärm-Belastung die Kriterien für den Schallschutz gemäss Art. 21 USG i.V.m. Art. 32 ff. LSV heranzuziehen. Nach Art. 32 Abs. 1 LSV muss der Bauherr dafür sorgen, dass der Schallschutz bei Aussenbauteilen und Trennbauteilen lärmempfindlicher Räume sowie bei Treppen und haustechnischen Anlagen den anerkannten Regeln der Baukunde entspricht. Als solche gelten insbesondere die Mindestanforderungen nach der SIA-Norm 181 ("Schallschutz im Hochbau"; aktuell: Ausgabe 2006).
Das Verwaltungsgericht ging gestützt auf den Fachbericht Lärm vom 10. September 2009 davon aus, dass die vom Beschwerdeführer beantragte Haltung von 19 Hunden beim Beschwerdegegner 1, d.h. in den lärmempfindlichen Räumen des Hausteils Schwendi 22, erheblichen Aussen- und Innenlärm verursache. Dies wird vom Beschwerdeführer bestritten.
3.1 Er macht zunächst geltend, der Sachverhalt sei hinsichtlich des Innenlärms unvollständig festgestellt worden. Eine Lärmmessung sei im Gebäudeteil des Beschwerdegegners 1 nicht vorgenommen worden. Sein Antrag auf Einholung einer Expertise sei vom Verwaltungsgericht willkürlich abgewiesen worden.
Das Verwaltungsgericht räumte zwar ein, dass der Fachbericht nicht speziell auf die gemäss SIA-Norm 181 einzuhaltenden Schallpegeldifferenzen abgestellt habe. Dieser habe jedoch nach einer eingehenden Würdigung der baulichen und geografischen Verhältnisse vor Ort (Verhalten der 24 anwesenden Hunde anlässlich des Augenscheins, Art der Baute, Sekundärlärm, Betriebskonzept, massgebliche Empfindlichkeitsstufe ES III) den Aussen- und Innenlärm beim Beschwerdegegner 1 als erheblich eingestuft. Bei diesem Befund könne auch mit Blick auf die für den Innenlärm massgebenden SIA-Norm 181 gefolgert werden, dass die Mindestanforderungen nicht erfüllt seien, denn die Einhaltung der Mindestnormen führe definitionsgemäss dazu, dass erhebliche Störungen gerade verhindert werden (SIA-Norm 181, Ziff. 2.2.2). Zudem sei schon aufgrund des Alters des Hauses davon auszugehen, dass die Anforderungen der SIA-Norm 181 nicht eingehalten seien. Es könne daher darauf verzichtet werden, von einer Fachperson einen Bericht über den Schallschutz innerhalb des Gebäudes einzuholen.
Diese Erwägungen lassen keinerlei Willkür erkennen. Es erscheint offensichtlich, dass die bestehende Baute aus dem 18. Jahrhundert, die - soweit aus den Akten ersichtlich - nie grundlegend saniert worden ist, den aktuellen Schallschutzanforderungen nicht entspricht; dies wird auch vom Beschwerdeführer nicht substantiiert bestritten.
3.2 Der Beschwerdeführer rügt weiter die Sachverhaltsfeststellungen der Vorinstanz zum Hundelärm zwischen 22 und 7 Uhr.
Das Verwaltungsgericht ging davon aus, dass Hunde weder in der Nacht durchgängig schlafen noch tagsüber durchgängig wach seien, weshalb es plausibel erschiene, auch für die Zeit zwischen 22 bis 7 Uhr von der Einschätzung des Fachberichts auszugehen, obschon dieser auf tagsüber gemachten Beobachtungen basiere. Dies sei umso mehr gerechtfertigt, als der Lärm aufgrund des insgesamt tieferen Lärmniveaus in der Nacht grundsätzlich störender wahrgenommen werde. Zudem sei zu berücksichtigen, dass sich - wegen der unterschiedlichen Charakter der Hunde und der sich verändernden Gruppendynamik - eine gewisse Typisierung bei der Beurteilung von Hundelärm als unumgänglich erweise. Die Einholung eines Fachberichts über das Verhalten der Hunde zwischen 22 Uhr bis 7 Uhr erweise sich demnach als entbehrlich.
Der Beschwerdeführer rügt dies als willkürlich. Er macht geltend, Windhunde seien ruhige Charaktere; ihr Verhalten in der Nacht unterscheide sich - auch im Rudel - nicht von demjenigen von Nutztieren.
Wie im Urteil 1A.276/2000 vom 13. August 2001 E. 4d (in: URP 2001 S. 1101) ausgeführt wurde, bedarf die Baubewilligung einer gewissen Typisierung und kann nicht je nach gehaltener Hunderasse differenziert werden, zumal sich diese im Laufe der Zeit ändern kann. Zudem ergibt sich aus den in den Akten liegenden Zeitungsberichten und der Homepage des Beschwerdeführers, dass dieser nicht ausschliesslich Windhunde aufnimmt. Schon aus diesem Grund erweist sich seine Rüge als unbegründet.
Im Übrigen bestreitet er nicht, dass die Hundehaltung im Freien zumindest tagsüber beim Beschwerdeführer 1 zu erheblichem Aussenlärm führt. Bereits dies steht der Erteilung der Baubewilligung entgegen. Auch aus diesem Grund durfte das Verwaltungsgericht willkürfrei auf die Einholung einer Expertise zum Verhalten der Hunde während der Nachtzeit verzichten.
3.3 Ist die Sachverhaltsfeststellung des Verwaltungsgerichts nach dem Gesagten nicht zu beanstanden, ist sie für das Bundesgericht massgeblich (Art. 105 BGG). Der Antrag auf Einholung von Expertisen im bundesgerichtlichen Verfahren ist abzuweisen.
4. Schliesslich macht der Beschwerdeführer geltend, die Baubewilligung sei einzig aufgrund des Beschwerdegegners 1 nicht erteilt worden, da für die übrigen Beschwerdegegner allenfalls geringfügige Lärmimmissionen zu erwarten seien. Dieser verhalte sich rechtsmissbräuchlich: Ihm gehe es nicht darum, den Marktwert seines Eigentums zu erhalten, sondern nur darum, der Windhundhilfe im Wege zu stehen. Die Wohnung Schwendi 22a stehe mittlerweile seit 10 Jahren leer. Der Beschwerdeführer und die E._ AG hätten vor Verwaltungsgericht bestritten, dass der Beschwerdegegner 1 ernsthafte Absichten habe, seine Haushälfte zu vermieten oder zu verkaufen. Das Verwaltungsgericht habe die dazu erhobenen Beweisanträge des Beschwerdeführers in willkürlicher Weise abgewiesen. Die Vorinstanzen hätten das rechtsmissbräuchliche Verhalten des Beschwerdegegners 1 geschützt und seien damit in Willkür verfallen.
4.1 Die Beschwerdegegner bestreiten die Vorwürfe des Beschwerdeführers. Sie machen geltend, die Liegenschaftshälfte des Beschwerdegegners 1 sei aufgrund der enormen Lärmimmissionen der Hundehaltung nicht mehr bewohnbar. Ein Verkauf sei bis dato unmöglich gewesen, obwohl die Haushälfte schon seit langer Zeit (und weiterhin) zum Verkauf stehe. Die Vermutung, der Beschwerdegegner 1 lasse seinen Liegenschaftsanteil "brach" liegen und trage die damit verbundenen Kosten, nur um den Beschwerdeführer zu schädigen, entbehre jeglicher Vernunft.
4.2 Das Verwaltungsgericht ging davon aus, dass sich der Beschwerdegegner 1 seit 2006 aktiv um den Verkauf oder die Vermietung seiner Liegenschaft bemühe; dies ergebe sich aus der Bestätigung der mit dem Verkauf beauftragten Immobilientreuhand AG. Es sei deshalb nicht ausgeschlossen, dass der gegenwärtig leerstehende Gebäudeteil Schwendi 22 in absehbarer Zeit wieder einer lärmempfindlichen Nutzung zugeführt werde. Dass die Hundehaltung des Beschwerdeführers die Verkaufs- und Vermietungschancen mindere, könne kaum bezweifelt werden. Nicht zu überzeugen vermöge auch der Einwand des Beschwerdeführers, wonach erhebliche Investitionen im Gebäudeteil des Beschwerdegegners 1 erforderlich wären, um diesen wieder bewohnbar zu machen, weshalb dieser kein Interesse an der Einhaltung der Lärmschutzbestimmungen habe. Es sei Sache des Eigentümers zu entscheiden, ob er allenfalls erforderliche Investitionen an einem Gebäude im Voraus oder erst mit Blick auf eine konkrete - und ihm genehme - Käufer- oder Mieterschaft und in Kenntnis von deren spezifischen Bedürfnissen vornehme. Denkbar sei auch, dass solche Investitionen durch die Käuferschaft selbst getätigt würden. Aus den dargelegten Gründen wies es die Beweisanträge des Beschwerdeführers betreffend Durchführung eines Augenscheins sowie über ausgeschlagene Verkaufsangebote ab.
4.3 Aus der in den Akten liegenden Bestätigung der beauftragten Immobilientreuhand AG vom 14. März 2011 ergibt sich, dass das Objekt seit 2006 zum Verkauf angeboten wird. Hierfür seien insgesamt 19 Zeitungsinserate (Gesamtkosten Fr. 2'800.--) erschienen; zudem sei das Objekt auf diversen Internetseiten publiziert. Grundsätzlich sei die Nachfrage gut gewesen und es seien über 70 Dokumentationen versendet worden. Sehr oft habe man danach nichts mehr gehört. Auf Nachfrage habe sich ergeben, dass niemand bereit sei, die Liegenschaft zu kaufen, solange sich die Nachbarshunde in dieser Anzahl "Wand an Wand" befänden. Bei den seltenen Besichtigungen sei man mit ohrenbetäubendem Gebell empfangen worden, welches selbst im Haus hörbar gewesen sei. Bisher habe man kein ernsthaftes oder realistisches Angebot für den Kauf oder die Miete des Objekts erhalten.
Es sind keine Gründe ersichtlich, weshalb dieser Bestätigung kein Glauben geschenkt werden sollte. Das Verwaltungsgericht durfte daher willkürfrei davon ausgehen, dass der Beschwerdegegner 1 sich ernsthaft um die Vermietung oder den Verkauf seines Hausteils bemüht hat und weiterhin bemüht. Es war nicht verpflichtet, weitere Auskünfte einzuholen oder einen Augenschein durchzuführen.
Auch vor Bundesgericht sind keine Beweise einzuholen; vielmehr ist auf den vom Verwaltungsgericht festgestellten Sachverhalt abzustellen (Art. 105 BGG).
4.4 Grundsätzlich müssen die zuständigen Behörden von Amtes wegen prüfen, ob die bundesrechtlichen Lärmschutzbestimmungen an allen lärmempfindlichen Räume, eingehalten werden. Dazu zählen auch vorübergehend unbewohnte Räume in Wohnungen (Art. 2 Abs. 6 lit. a LSV; vgl. Urteil 1C_211/2011 vom 20. Februar 2012 E. 5.3.1). Insofern erscheint fraglich, ob anders zu entscheiden gewesen wäre, wenn der Beschwerdegegner 1 keine Einsprache gegen das Bauvorhaben erhoben hätte. Jedenfalls aber kann diesem kein rechtsmissbräuchliches Verhalten vorgeworfen werden.
5. Eventualiter beantragt der Beschwerdeführer, ihm seien die Umzäunungen und Hundezwinger zu belassen mit der Auflage, innert eines Jahres seinen Hundebestand auf maximal 12 Tiere zu reduzieren. Er beruft sich auf die Rechtsprechung, wonach in der Landwirtschaftszone 8 Hunde erlaubt seien. In Anbetracht der geografischen Lage und der Tatsache, dass er eine - im öffentlichen Interesse liegende - Windhundauffangstation betreibe, müsse eine noch höhere Zahl zulässig sein.
5.1 Das Verwaltungsgericht führte aus, nach der Berner Praxis seien in einer reinen Wohnzone mit ES II maximal 3 Hunde zonenkonform. Das Bundesgericht habe diese Praxis auch für die lärmschutzrechtliche Beurteilung übernommen und mit Blick auf ein Tierasyl in der Landwirtschaftszone, d.h. einer Zone verminderter Lärmempfindlichkeit (ES III), entschieden, dass das Halten vom maximal 8 Hunden aus umweltschutzrechtlicher Sicht als noch vertretbar (wenn auch eher grosszügig) zu werten sei (Urteil 1A.276/2000 vom 13. August 2001 E. 4c, in: URP 2001 1101). Vorliegend sei es jedoch aufgrund des ungenügenden Schallschutzes innerhalb des Gebäudes Schwendi 22/22a nicht zu beanstanden, wenn die BVE einen strengeren Massstab angelegt und die Reduktion auf 4 Hunde angeordnet habe.
Dem ist zuzustimmen: Im zitierten bundesgerichtlichen Entscheid ging es um ein Tierasyl, das sich in 60 m Entfernung von den nächsten Nachbarn befand, während sich das vorliegend streitige Hundeasyl "Wand zu Wand" zur Wohnbaute des Beschwerdegegners 1 befindet. Unter diesen Umständen durften die Vorinstanzen davon ausgehen, dass die Reduktion auf 4 Hunde für den Lärmschutz des unmittelbaren Nachbarn geboten sei.
5.2 Hinsichtlich der angeordneten Beseitigung von Hundezwinger und Auslaufgehege hat das Verwaltungsgericht auf die Erwägungen der BVE (E. 6, insbes. lit. d und e) verwiesen. Diese entschied, dass die bestehenden Aussenanlagen nicht für eine tiergerechte Haltung von 4 Hunden notwendig seien und deshalb auch nach Art. 24d Abs. 1bis RPG nicht bewilligt werden könnten. Die Wiederherstellung des rechtmässigen Zustands liege im öffentlichen Interesse zum Schutz der Rechtsgleichheit und der Durchsetzung des Raumplanungsrechts. Die Abweichung vom Gesetz könne auch nicht als geringfügig bezeichnet werden, werde doch eine Fläche von ca. 1'500 m2 eingezäunt, mit 2 m hohen, gut einsehbaren Gitterzäunen. Die Zäune liessen sich ohne grossen Aufwand für den Beschwerdeführer entfernen.
Diese Erwägungen lassen keine Verletzung von Bundesrecht erkennen.
6. Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig. Die Gemeinde Gadmen hat keinen Anspruch auf eine Parteientschädigung, da sie in ihrem amtlichen Wirkungskreis unterliegt (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die privaten Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Einwohnergemeinde Gadmen, der Bau-, Verkehrs- und Energiedirektion des Kantons Bern, der E._ AG, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 18. April 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber