Sachverhalt:
A. Das Strassenverkehrsamt des Kantons Aargau entzog X._ am 5. November 2010 den Führerausweis vorsorglich und ordnete an, er habe sich einer verkehrsmedizinischen Abklärung zu unterziehen. Einer allfälligen Beschwerde entzog es die aufschiebende Wirkung. Zur Begründung führte es an, die Regionalpolizei Spreitenbach habe ihm am 19. Oktober 2010 berichtet, es bestünde der Verdacht, dass X._ die Fahreignung abgehen könnte.
X._ focht diese Verfügung beim Departement Volkswirtschaft und Inneres (DVI) an, welches die Beschwerde am 2. Februar 2011 abwies und einer allfälligen Verwaltungsgerichtsbeschwerde die aufschiebende Wirkung entzog.
Das Verwaltungsgericht des Kantons Aargau hiess die Beschwerde von X._ gegen diesen Departementsentscheid am 27. Juli 2011 teilweise gut, hob den vorsorglichen Führerausweisentzug auf und wies das Strassenverkehrsamt an, ihm den Führerausweis umgehend wieder auszuhändigen (Dispositiv-Ziffer 1). Die Anordnung der verkehrsmedizinischen Abklärung bestätigte es im Ergebnis. Es auferlegte dem Beschwerdeführer sowohl die Kosten des Verfahrens vor dem DVI (Dispositiv-Ziffer 2.1) als auch diejenigen des verwaltungsgerichtlichen Verfahrens (Dispositiv-Ziffer 2.2) zu je einem Viertel. Es wies das Strassenverkehrsamt an, dem Beschwerdeführer die Hälfte der vor dem DVI entstandenen, auf Fr. 3'000.-- festgesetzten Parteikosten zu ersetzen (Dispositiv-Ziffer 3.1) und das DVI, ihm die Hälfte der vor Verwaltungsgericht entstandenen, auf Fr. 2'000.-- festgesetzten Parteikosten zu ersetzen (Dispositiv-Ziffer 3.2).
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Beschwerdeführer sinngemäss, den Entscheid des Verwaltungsgerichts dahingehend abzuändern, dass der Entscheid des DVI vollumfänglich aufgehoben werde. Die Kosten des Verfahrens vor dem DVI und dem Verwaltungsgericht seien vom Kanton Aargau zu tragen, und es sei das Strassenverkehrsamt anzuweisen, ihm die gesamten im Verfahren vor dem DVI entstandenen, gerichtlich auf Fr. 3'000.-- festgesetzten Parteikosten zu ersetzen. Ausserdem ersucht er, seiner Beschwerde aufschiebende Wirkung zuzuerkennen.
C. Der Präsident der I. öffentlich-rechtlichen Abteilung erkannte der Beschwerde am 27. September 2011 aufschiebende Wirkung zu.
D. Das Verwaltungsgericht, das DVI und das Strassenverkehrsamt verzichten auf Vernehmlassung in der Sache.
Das ASTRA beantragt, die Beschwerde gutzuheissen.
Das DVI verzichtet auf weitere Stellungnahme. Das Strassenverkehrsamt beantragt, das Urteil des Verwaltungsgerichts zu bestätigen.

Erwägungen:
1. Der angefochtene, kantonal letztinstanzliche Entscheid des Verwaltungsgerichts betrifft die Anordnung einer verkehrsmedizinischen Abklärung im Rahmen eines strassenverkehrsrechtlichen Administrativverfahrens und damit eine öffentlich-rechtliche Angelegenheit. Dagegen ist die Beschwerde zulässig (Art. 82 Abs. 1 lit. a, Art. 86 Abs. 1 lit. d BGG), und der Beschwerdeführer ist als zur verkehrsmedizinischen Abklärung Verpflichteter befugt, sie zu erheben (<ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, sodass auf die Beschwerde einzutreten ist.
2. 2.1 Führerausweise werden entzogen, wenn die gesetzlichen Voraussetzungen zur Erteilung nicht oder nicht mehr bestehen (<ref-law>). Nach <ref-law> wird der Lernfahr- oder Führerausweis einer Person auf unbestimmte Zeit entzogen, wenn sie an einer Sucht leidet, welche die Fahreignung ausschliesst. Ein allfälliger Sicherungsentzug im Sinne dieser Bestimmung setzt das Vorliegen einer Sucht voraus. Trunksucht wird nach der Praxis des Bundesgerichts bejaht, wenn der Lenker regelmässig so viel Alkohol konsumiert, dass seine Fahrfähigkeit vermindert wird und er keine Gewähr bietet, den Alkoholkonsum zu kontrollieren und ihn ausreichend vom Strassenverkehr zu trennen, sodass die Gefahr nahe liegt, dass er im akuten Rauschzustand am motorisierten Strassenverkehr teilnimmt (<ref-ruling> E. 3c S. 126; <ref-ruling> E. 3d S. 564, E. 4e S. 567; je mit Hinweisen).
Eine verkehrsmedizinische Abklärung darf nur angeordnet werden, wenn konkrete Anhaltspunkte vorliegen, die ernsthafte Zweifel an der Fahreignung des Betroffenen wecken. Sie ist nach der Praxis des Bundesgerichtes namentlich dann angebracht, wenn die Blutalkoholkonzentration 2,5 Promille und mehr beträgt, auch wenn sich der Betroffene während der letzten fünf Jahre vor der aktuellen Trunkenheitsfahrt keine einschlägige Widerhandlung zu Schulde kommen liess. Wer sich mit einer derart hohen Blutalkoholkonzentration noch ans Steuer setzt, verfügt über eine so grosse Alkoholtoleranz, dass in aller Regel auf eine Alkoholabhängigkeit geschlossen werden muss. Dasselbe gilt für einen Lenker, der innerhalb eines Jahres zweimal in erheblich angetrunkenem Zustand - mit 1,74 bzw. 1,79 Promillen - ein Motorfahrzeug führte (<ref-ruling> E. 4.2 S. 87; <ref-ruling> E. 3c S. 125).
2.2 Wird eine verkehrsmedizinische Abklärung angeordnet, so ist, entgegen der Auffassung des Verwaltungsgerichts, der Führerausweis nach <ref-law> im Prinzip vorsorglich zu entziehen (<ref-ruling> E. 3 S. 401; Urteile 1C_420/2007 vom 18. März 2008 E. 3.2 und 6A.17/2006 vom 12. April 2006 E. 3.2; vgl. auch 1C_256/2011 vom 22. September 2011 E. 2.5). Diesfalls steht die Fahreignung des Betroffenen ernsthaft in Frage, weshalb es unter dem Gesichtspunkt der Verkehrssicherheit grundsätzlich nicht zu verantworten ist, ihm den Führerausweis bis zum Vorliegen des Untersuchungsergebnisses zu belassen.
3. 3.1 Anlass für die Eröffnung des Administrativverfahrens gegen den über einen makellosen automobilistischen Leumund verfügenden Beschwerdeführer war für das Strassenverkehrsamt der Rapport der Regionalpolizei Spreitenbach vom 19. November 2010. Danach war sie am Vorabend um 22:35 Uhr an die Untere Dorfstrasse in Spreitenbach aufgeboten worden, weil jemand - der Beschwerdeführer - sämtliche Hausklingeln der Liegenschaft gedrückt habe. Als ein Bewohner geöffnet habe, habe der Beschwerdeführer zuerst auf russisch, dann auf französisch etwas gesagt. Es sei dann zu einer Auseinandersetzung zwischen einem Anwohner, der ihn aufgefordert habe, mit dem Läuten aufzuhören, und dem Beschwerdeführer gekommen. Beim Eintreffen der Polizei sei der Beschwerdeführer auf dem Boden gesessen und habe erklärt, dass er dringend mit dem SVP-Präsidenten sprechen müsse. Er habe verwirrt und alkoholisiert gewirkt. Er habe erklärt, nur eine Stange Bier getrunken zu haben. Den Alkotest habe er verweigert. Sie hätten ihn dann zum Amtsarzt nach Schinznach geführt, wobei der Beschwerdeführer im Patrouillenwagen geschlafen habe. Der Regionalpolizei sei zugetragen worden, dass der Beschwerdeführer oft und sehr intensiv dem Alkohol fröne.
3.2 Der Befund des Bezirksarztes, der den Beschwerdeführer um 00:15 Uhr untersuchte und seine Einweisung in die Klinik Königsfelden verfügte, lautet: "52-jähriger Mann, gepflegtes Äusseres, bestimmtes Auftreten, ziemlich fixierender Blick, wenig Mimik, kein Affekt, spricht klar verständlich, formal korrekt, inhaltlich wenig nachvollziehbar (Grössenwahn)". Zur Verhältnismässigkeit der Fürsorgerischen Freiheitsentziehung führt der Bezirksarzt aus: "offenbar ein erstmaliger akuter Verwirrungszustand mit Grössenwahn, möglicherweise als Ausdruck eines psychotischen Schubes. Eine Abklärung und Behandlung ist indiziert. Angehörige (Ehefrau) sind nicht erreichbar, so dass nur die Hospitalisation bleibt."
3.3 Bei der Aufnahme in die psychiatrische Klinik Königsfelden fiel der Ärztin insbesondere die "situationsinadäquat gehobene Stimmung und Gelassenheit" des Beschwerdeführers auf. Ansonsten beschreibt sie sein Verhalten als "recht unauffällig". Er sei "wach, bewusstseinsklar und in allen Qualitäten orientiert. Auffassung, Aufmerksamkeit und Konzentration im Gespräch unauffällig (..)." Sie zieht in ihrer Beurteilung zwar differenzialdiagnostisch einen schädlichen Gebrauch von Alkohol oder die Einnahme anderer psychotroper Substanzen als Ursache für das enthemmte, aggressive Verhalten des Beschwerdeführers in Betracht, aber auch eine beginnende Hypomanie (nach Pschyrembel eine häufig auftretende affektive Störung mit leichter, mehrere Tage andauernder submanischer Erregung, bei der die Symptome geringer ausgeprägt sind als bei der Manie) oder eine Erkrankung aus dem schizophrenen Formenkreis. Der Beschwerdeführer wurde am Nachmittag des 19. Novembers 2010 "aufgrund fehlender psychiatrischer Behandlungsindikation" aus der Klinik entlassen.
4. 4.1 Unbestritten ist, dass der Beschwerdeführer vor dem umstrittenen Vorfall Alkohol getrunken hat, nach seinen Angaben eine oder zwei Stangen Bier. Auch der Vorfall selber, den der Beschwerdeführer damit erklärt, dass er unverzüglich mit dem Präsidenten der SVP-Bezirkspartei habe sprechen müssen, um grossen Schaden von Spreitenbach und/oder der Partei abzuwenden und deshalb versucht habe, an dessen Wohnung zu klingeln, wäre mit einem vorgängigen erheblichen Alkoholkonsum erklärbar. Allzu stark betrunken kann der Beschwerdeführer allerdings nicht gewesen sein: Für den Bezirksarzt spielte die Alkoholisierung bei der Anordnung der Fürsorgerischen Freiheitsentziehung keine Rolle, und auch der psychopathologische Aufnahmebefund der Klinik Königsfelden enthält keine Hinweise auf eine starke Trunkenheit. Aus dem Umstand, dass er den Alkotest verweigerte, ist weder zugunsten noch zulasten des Beschwerdeführers etwas abzuleiten. Der Bezirksarzt führt die Verhaltensauffälligkeiten des Beschwerdeführers - Verwirrung, Grössenwahn, der Situation nicht angepasste gehobene Stimmung - auf einen psychotischen Schub zurück, und auch für die aufnehmende Klinikärztin sind neben dem Missbrauch von Alkohol oder Drogen psychische Störungen als mögliche Ursachen denkbar. Schwer wiegen können diese allerdings nicht, da der Beschwerdeführer nach dem Kurzaustrittsbericht der Klinik Königsfelden keine psychiatrische Behandlung benötigt.
4.2 Es bestehen somit keine genügenden Anhaltspunkte dafür, dass der Beschwerdeführer regelmässig so viel Alkohol konsumiert, dass seine Fahrfähigkeit vermindert wird. Gar nichts spricht dafür, dass er keine Gewähr bietet, den Alkoholkonsum zu kontrollieren und ihn ausreichend vom Strassenverkehr zu trennen. In den Akten finden sich zudem keine Hinweise dafür, dass allenfalls bestehende (leichte) psychische Probleme verkehrsmedizinisch relevant wären.
4.3 Damit ergibt sich, dass der Beschwerdeführer am fraglichen Abend aufgrund des Genusses von Alkohol und/oder einer leichten psychischen Störung in einen verwirrten, von Grössenwahn geprägten Erregungszustand geriet, in dem er öffentliches Ärgernis erregte. Dass er sich in diesem Zustand ans Steuer setzte oder dies auch nur in Erwägung zog, wird von keiner Seite behauptet und kann ausgeschlossen werden. Dieser einzelne Vorfall genügt unter diesen Umständen nicht, ernsthafte Zweifel an der Fahreignung des Beschwerdeführers zu wecken, die die Anordnung einer verkehrsmedizinischen Abklärung rechtfertigen würden. Weitere Indizien, dass der Beschwerdeführer regelmässig so viel Alkohol trinkt, dass zu befürchten ist, er könne Trinken und Fahren nicht zuverlässig auseinanderhalten, gibt es keine. Die Regionalpolizei schreibt zwar in ihrem Bericht, es sei ihr "durch Bewohner von Spreitenbach" zugetragen worden, dass der Beschwerdeführer oft und sehr intensiv dem Alkohol fröne. Diese Anschuldigung beruht indessen auf reinem Hörensagen; sie ist als blosses Gerücht in einem rechtsstaatlichen Verfahren nicht verwertbar. Will die Polizei derartige Aussagen in ein Administrativverfahren einführen, hat sie die anonymen "Bewohner" namhaft zu machen und ihre Aussagen ordentlich zu rapportieren, damit der Betroffene dazu Stellung nehmen kann.
5. Die Beschwerde ist somit gutzuheissen und der angefochtene Entscheid aufzuheben, insoweit er den Beschwerdeführer belastet. Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (<ref-law>). Hingegen hat der Kanton Aargau dem Beschwerdeführer eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. 1.1 Die Beschwerde wird gutgeheissen und die Ziffern 2 und 3.1 des Urteils des Verwaltungsgerichts des Kantons Aargau vom 27. Juli 2011 aufgehoben. Der Beschwerdeführer behält den Führerausweis und hat sich keiner fachärztlichen Begutachtung zu unterziehen.
1.2 Der Kanton Aargau trägt die im Verfahren vor dem DVI (Fr. 1224.--) und dem Verwaltungsgericht (Fr. 1690.--) angefallenen Verfahrenskosten.
1.3 Das Strassenverkehrsamt wird angewiesen, dem Beschwerdeführer sämtliche vor dem DVI entstandenen Kosten in Höhe von Fr. 3'000.-- zu ersetzen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Aargau hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- zu bezahlen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Strassenverkehrsamt, dem Departement Volkswirtschaft und Inneres sowie dem Verwaltungsgericht des Kantons Aargau, 1. Kammer, und dem Bundesamt für Strassen schriftlich mitgeteilt.
Lausanne, 17. Januar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Störi