Sachverhalt:
A. X._ ist Eigentümer der aneinander angrenzenden Parzellen Nrn. 396 und 401 in Riehen (Mooshaldenweg 5 und 7). Die Parzelle Nr. 396 ist mit einem von den Architekten Paul Artaria und Hans Schmidt konzipierten, eingeschossigen Wohngebäude mit Künstleratelier aus Holz aus dem Jahr 1926 überbaut (Haus "Wenk"). Mit Beschluss vom 12. Juni 2007 stellte der Regierungrat das Äussere und das Innere dieser Baute unter Denkmalschutz. Mit Eingabe vom 7. Februar 2008 beantragte X._ beim Baudepartement (heute: Bau- und Verkehrsdepartement, BVD) erfolglos die Ausrichtung einer Enteignungsentschädigung aufgrund der Unterschutzstellung.
Mit Klage vom 24. September 2008 an die Expropriationskommission des Kantons Basel-Stadt verlangte X._, der Kanton Basel-Stadt sei zur Leistung einer Enteignungsentschädigung zu verurteilen. Auf seinen Antrag beschränkte die Expropriationskommission das Verfahren zunächst auf die Frage des Vorliegens einer materiellen Enteignung. Sie verneinte die Frage und wies die Klage mit Urteil vom 17. November 2009 ab.
Einen von X._ gegen das Urteil der Expropriationskommission erhobenen Rekurs hiess das Appellationsgericht des Kantons Basel-Stadt mit Urteil vom 20. Mai 2011 gut. Es bejahte eine materielle Enteignung und wies die Sache zur Festsetzung der Entschädigung an die Vorinstanz zurück.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 6. Oktober 2011 beantragt der Kanton Basel-Stadt, das Urteil des Appellationsgerichts sei aufzuheben und es sei festzustellen, dass die Unterschutzstellung der Liegenschaft Mooshaldenweg 5 in Riehen keine materielle Enteignung darstelle und entschädigungslos zu dulden sei.
Das Appellationsgericht hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Der Beschwerdegegner beantragt im Wesentlichen die Abweisung der Beschwerde und die Feststellung, dass der Grundtatbestand bzw. der Sonderopfertatbestand der materiellen Enteignung erfüllt sei. In seiner Replik hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest. Das Appellationsgericht hat sich zu dieser Replik des Beschwerdeführers mit einer weiteren Eingabe geäussert.
Erwägungen:
1. 1.1 Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid betreffend das Vorliegen einer materiellen Enteignung. Dieser Entscheid unterliegt der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG). Ausnahmegründe im Sinne von Art. 83 BGG sind nicht gegeben. Der Kanton Basel-Stadt ist zur Beschwerde berechtigt (Art. 89 Abs. 2 lit. d BGG i.V.m. Art. 34 Abs. 2 und Art. 5 Abs. 2 RPG [SR 700]). Das angefochtene Urteil schliesst das Verfahren nicht ab, sondern weist die Sache zur Festsetzung der Entschädigung an die Expropriationskommission zurück. Würde das Bundesgericht die Beschwerde des Kantons Basel-Stadt gutheissen, so würde das Verfahren indessen abgeschlossen und erübrigte sich die Festsetzung der Enteignungsentschädigung durch die Expropriationskommission. Die Voraussetzungen von Art. 93 Abs. 1 lit. b BGG, wonach gegen selbstständige Vor- und Zwischenentscheide die Beschwerde zulässig ist, wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit und Kosten für ein weitläufiges Beweisverfahren ersparen würde, sind damit erfüllt. Auf die Beschwerde ist grundsätzlich einzutreten.
1.2 Der Beschwerdeführer beantragt, es sei festzustellen, dass die Unterschutzstellung der Liegenschaft Mooshaldenweg 5 in Riehen keine materielle Enteignung darstellt und entschädigungslos zu dulden ist. Ein Interesse an einer derartigen Feststellung, welches über das Interesse an der Aufhebung des angefochtenen Entscheids hinausgeht, wird indessen nicht dargetan und ist auch nicht erkennbar. Auf das Feststellungsbegehren ist nicht einzutreten (vgl. Urteile 1C_45/2009 vom 6. Juli 2009 E. 1.5; 2C_737/2010 vom 18. Juni 2011 E. 4.6; je mit Hinweisen). Aus demselben Grund ist auf den Antrag des Beschwerdegegners, es sei festzustellen, dass der Grundtatbestand bzw. der Sonderopfertatbestand der materiellen Enteignung erfüllt sei, nicht einzutreten (vgl. diesbezüglich auch BGE 134 III 332 E. 2.5 S. 335 f. mit Hinweisen, wonach das Bundesgerichtsgesetz keine Anschlussbeschwerde vorsieht).
2. 2.1 Eine materielle Enteignung im Sinne von Art. 26 Abs. 2 BV und Art. 5 Abs. 2 RPG liegt vor, wenn dem Eigentümer der bisherige oder ein voraussehbarer künftiger Gebrauch einer Sache untersagt oder in einer Weise eingeschränkt wird, die besonders schwer wiegt, weil der betroffenen Person eine wesentliche aus dem Eigentum fliessende Befugnis entzogen wird (erste Tatbestandsvariante der materiellen Enteignung). Geht der Eingriff weniger weit, so kann ausnahmsweise eine Eigentumsbeschränkung einer Enteignung gleichkommen, falls ein einziger oder einzelne Grundeigentümer so getroffen werden, dass ihr Opfer gegenüber der Allgemeinheit unzumutbar erscheint und es mit der Rechtsgleichheit nicht zu vereinbaren wäre, wenn hierfür keine Entschädigung geleistet würde (zweite Tatbestandsvariante der materiellen Enteignung, sogenanntes Sonderopfer; zum Ganzen: BGE 131 II 728 E. 2 S. 730 mit Hinweisen).
2.2 Das Appellationsgericht kam im angefochtenen Entscheid zum Schluss, dass die Unterschutzstellung des Hauses Wenk eine materielle Enteignung bewirkt habe. Zur Begründung führte es aus, das Haus sei integral unter Schutz gestellt worden. Dies bedeute grundsätzlich einen erheblichen Eingriff in die Eigentümerbefugnisse, wobei jedoch die konkreten Verhältnisse zu würdigen seien. Vorliegend sei zu berücksichtigen, dass der Eigentümer es beim Abschluss des Mietvertrags im Jahr 2005 in der Hand gehabt hätte, den Mietzins auf ein marktgerechtes Niveau anzuheben. Im Mietvertrag vom 6. Mai 2005 sei jedenfalls ausdrücklich darauf hingewiesen worden, dass der vereinbarte Mietzins von Fr. 1'760.-- nicht den gesetzlich zulässigen Ertrag bringe. Dass das Haus trotz seines bescheidenen Komforts, seines besonderen Grundrisses und der ungewöhnlichen Anordnung der Wohnräume weiterhin zu Wohnzwecken genutzt werden könne, habe der Augenschein vom 20. Mai 2011 offensichtlich gezeigt. Unberührt geblieben sei auch die Möglichkeit, die Liegenschaft für ein stilles Gewerbe zu nutzen oder Teile davon abzuparzellieren und zu veräussern. Insgesamt sei indessen die weitere bauliche Nutzung der Parzelle aufgrund der Unterschutzstellung der Baute stark beschränkt. Ohne die Massnahme hätten zwei Einfamilienhäuser mit je grösserer Wohnfläche als die bestehende Baute verwirklicht werden können. Die Unterschutzstellung bewirke, dass der Umgestaltung und Erweiterung des Gebäudes enge Grenzen gesetzt seien. Die Errichtung einer zweiten Baute sei kaum mehr praktikabel, auch wenn man die Möglichkeit der Zusammenlegung mit der benachbarten Parzelle Nr. 401 beziehungsweise die Möglichkeit eines Nutzungstransfers berücksichtige. Ob diese Einschränkungen die Intensität erreichten, welche für den Grundtatbestand der materiellen Enteignung erforderlich sei, könne jedoch offen bleiben, weil jedenfalls der Sonderopfertatbestand erfüllt sei.
Zur Frage des Sonderopfers erwog das Appellationsgericht, es dränge sich auf, zum Vergleich mit der Liegenschaft des Beschwerdegegners in erster Linie die Objekte heranzuziehen, die über einen gemeinsamen Zeitraum hinweg errichtet und aus denselben Gründen in einem Zug in das Denkmalverzeichnis aufgenommen wurden. Darüber hinaus seien auch weitere Objekte mitzuberücksichtigen, welche die beiden Architekten Artaria und Schmidt in Riehen erstellt hatten, die aber bereits früher in das Denkmalverzeichnis eingetragen worden sind. Das Appellationsgericht identifizierte auf diese Weise insgesamt sechs Vergleichsobjekte. Den Unterschied zu diesen erblickte es darin, dass die Baute des Beschwerdegegners einen erhöhten Unterhaltsbedarf habe und dass die sechs Vergleichsobjekte eine grössere Grundstücksfläche aufweisen, worauf (zusätzliche) Wohnbauten mit einer wirtschaftlich sinnvollen Nutzfläche erstellt werden könnten. Das Appellationsgericht schloss daraus, dass die vorliegende Unterschutzstellung im beschriebenen Rahmen als singulär erscheine. Die Holzbaute entspreche zudem in ihrem Grundriss und ihrer Bauweise kaum mehr den heutigen Vorstellungen des Wohnens an dieser Lage in Riehen. Der Schutz des Hauses Wenk treffe den Beschwerdegegner stärker als die Eigentümer der übrigen unter Schutz gestellten Bauwerke und der Mehrzahl der nicht von Denkmalschutzmassnahmen betroffenen Eigentümer der gleichen Zone. Das BVD habe nicht nachweisen können, dass sich die Verhältnisse in den Vergleichsfällen gleich (oder zumindest ähnlich) präsentierten und dem betroffenen Grundeigentümer kein Sonderopfer abverlangt werde. Schliesslich sei nicht relevant, dass der Beschwerdegegner das Haus 2005 erneut vermietet, insgesamt rund Fr. 200'000.-- darin investiert und jegliche Absicht, es abzureissen, dementiert habe. Massgeblich sei, dass die Liegenschaft in der Bauzone 2a besser genutzt werden könnte.
2.3 Der Beschwerdeführer rügt eine Verletzung von Art. 5 Abs. 2 RPG und Art. 26 Abs. 2 BV. Beim Grundtatbestand der materiellen Enteignung komme es nicht darauf an, welche Neu- und Ausbaumöglichkeiten denkbar seien. Vielmehr müsse ein Grundeigentümer mit Änderungen der zulässigen Nutzung rechnen und sie ohne Entschädigung hinnehmen, solange er die Liegenschaft noch wirtschaftlich sinnvoll und bestimmungsgemäss verwenden könne. Dies habe das Appellationsgericht verkannt und deshalb die Frage, ob der Grundtatbestand der materiellen Enteignung gegeben sei, zu Unrecht offen gelassen. Obwohl unter diesen Vorzeichen nicht relevant, sei zudem anzumerken, dass es nicht zutreffe, dass das BVD in seiner Vernehmlassung vom 16. Februar 2011 einen weiteren Ausbau nicht als vorstellbar bezeichnet habe. Mit Verweis auf eine entsprechende Skizze habe das BVD nämlich bestätigt, dass eine Erweiterung des Quertrakts aus Sicht der Denkmalpflege denkbar sei. Lediglich ein Ausbau, der darüber hinausgehe, etwa eine Erweiterung auf der Ostseite, sei als nicht realisierbar eingestuft worden. Auch habe es dargelegt, dass an zwei Orten auf der Parzelle noch ein zusätzliches Gebäude erstellt werden könne, auch wenn die Realisierbarkeit tatsächlich nicht einfach sei.
Auch von einem Sonderopfer könne nicht gesprochen werden. Der Beschwerdegegner sei nicht anders behandelt worden als andere Personen, die sich in gleichen oder ähnlichen Verhältnissen befinden. Weder sei seine Liegenschaft als einzige Riehener Baute der frühen Moderne ins Denkmalverzeichnis aufgenommen worden noch seien ihm durch die Unterschutzstellung andere, weitergehende Verpflichtungen auferlegt worden als den übrigen Eigentümern von gleich schutzwürdigen Denkmälern. Unterschiede in den tatsächlichen Gegebenheiten, wie sie das Appellationsgericht herangezogen habe, könnten höchstens dann ein Sonderopfer begründen, wenn mit der Unterschutzstellung eine stossende Rechtsungleichheit verbunden sei. In dieser Hinsicht sei zu berücksichtigen, dass das Haus Wenk für die Beherbergung einer vielköpfigen Familie weniger geeignet sein möge, andere Nutzergruppen das Haus aber sehr gut bewohnen könnten. Auch bestehe die Möglichkeit, das Gebäude für die Ausübung eines stillen Gewerbes zu verwenden. Die vorinstanzlichen Ausführungen zum Unterhaltsbedarf seien ebenfalls zu korrigieren bzw. zu relativieren. Es sei zu berücksichtigen, dass gemäss § 11 des Gesetzes des Kantons Basel-Stadt vom 20. März 1980 über den Denkmalschutz (SG 497.100) an die Kosten der Erhaltung und Restaurierung von Denkmälern Beiträge geleistet werden können. Gestützt auf die Ausführungen des damaligen Leiters der Denkmalpflege des Kantons Basel-Stadt sei die Expropriationskommission in ihrem Urteil zum Schluss gekommen, dass eine wärmetechnische Sanierung möglich sei. In ihrer Vernehmlassung vor dem Appellationsgericht habe sich das BVD dieser fachlichen Einschätzung angeschlossen. Dessen ungeachtet und ohne entsprechende Begründung habe das Appellationsgericht es als fraglich bezeichnet, inwiefern eine wärmetechnische Sanierung der bestehenden Holzkonstruktion überhaupt noch möglich sei. Im vorliegenden Fall sei möglich, die bestehende Holzschalung zu entfernen, um eine Wärmedämmschicht und dann wieder die Original- oder eine neue Holzverkleidung anzubringen. § 10b der Verordnung des Kantons Basel-Stadt vom 9. Dezember 2008 betreffend die Denkmalpflege (SG 497.110) sehe vor, dass bei der Beurteilung von Veränderungen an eingetragenen Denkmälern unter anderem die Bedeutung der beantragten Veränderung für die Weiternutzung des Denkmals sowie ein allfälliges öffentliches Interesse an der beantragten Veränderung, beispielsweise bei Energiesparmassnahmen, zu berücksichtigen seien. Schliesslich ergebe sich bei genauerem Hinsehen, dass es bei einer Mehrzahl der Vergleichsbeispiele ebenfalls nicht möglich sei, die verbleibende Grundstückfläche durch eine wirtschaftlich attraktive Überbauung besser zu nutzen. Man müsse in diesem Zusammenhang auch berücksichtigen, dass der Beschwerdegegner das heute denkmalgeschützte Haus im Jahre 1985 samt einem Grundstück von 2'877 m2 erworben habe. Eine Fläche von 1'738 m2 habe er abparzelliert und verkauft.
Eine weitere Kritik des Beschwerdeführers richtet sich auf die Bewertung der Bauabsicht durch das Appellationsgericht. Der Beschwerdeführer weist darauf hin, dass der Beschwerdegegner zweimal schriftlich beteuert habe, das Haus Wenk nicht abreissen zu wollen. Auf diese Aussage habe sich der Regierungsrat im Zeitpunkt der Unterschutzstellung nach Treu und Glauben verlassen dürfen.
2.4 Eine Denkmalschutzmassnahme, auch wenn mit ihr ein Gebäude integral unter Schutz gestellt wird, bedeutet nach der bundesgerichtlichen Rechtsprechung nur dann einen entschädigungspflichtigen Eingriff in den bisherigen oder voraussehbaren künftigen Gebrauch, wenn sie es dem Eigentümer nicht mehr erlaubt, sein Grundstück bestimmungsgemäss und wirtschaftlich gut zu nutzen. Nicht entscheidend ist dagegen, welche Nutzung beziehungsweise Rendite bei einer Neuüberbauung der Liegenschaft realisierbar wäre, oder, anders ausgedrückt, welche Wertverminderung die Unterschutzstellung bewirkt (BGE 117 Ib 262 E. 2a S. 264; 112 Ib 263 E. 4 S. 266 ff.; 111 Ib 257 E. 4b S. 266; Urteile 1A.120/1993 vom 23. Mai 1995 E. 5b und d, in: ZBl 98/1997 S. 179; 1A.95/1994 vom 4. April 1995 E. 5a; je mit Hinweisen; ENRICO RIVA, Aktuelle Entwicklungen im Recht der materiellen Enteignung, in: Temi scelti di diritto espropriativo, 2010, S. 73).
2.4 Eine Denkmalschutzmassnahme, auch wenn mit ihr ein Gebäude integral unter Schutz gestellt wird, bedeutet nach der bundesgerichtlichen Rechtsprechung nur dann einen entschädigungspflichtigen Eingriff in den bisherigen oder voraussehbaren künftigen Gebrauch, wenn sie es dem Eigentümer nicht mehr erlaubt, sein Grundstück bestimmungsgemäss und wirtschaftlich gut zu nutzen. Nicht entscheidend ist dagegen, welche Nutzung beziehungsweise Rendite bei einer Neuüberbauung der Liegenschaft realisierbar wäre, oder, anders ausgedrückt, welche Wertverminderung die Unterschutzstellung bewirkt (BGE 117 Ib 262 E. 2a S. 264; 112 Ib 263 E. 4 S. 266 ff.; 111 Ib 257 E. 4b S. 266; Urteile 1A.120/1993 vom 23. Mai 1995 E. 5b und d, in: ZBl 98/1997 S. 179; 1A.95/1994 vom 4. April 1995 E. 5a; je mit Hinweisen; ENRICO RIVA, Aktuelle Entwicklungen im Recht der materiellen Enteignung, in: Temi scelti di diritto espropriativo, 2010, S. 73).
2.5 2.5.1 In dieser Hinsicht als wesentlich erweist sich die Feststellung im angefochtenen Entscheid, dass das integral unter Schutz gestellte Gebäude zu Wohnzwecken unverändert genutzt werden kann, was laut dem Appellationsgericht vom Beschwerdegegner auch nicht bestritten wird. Dieser mache lediglich geltend, dass das Haus zu wirtschaftlich unvorteilhaften Konditionen vermietet werde. Das Appellationsgericht hielt in diesem Zusammenhang weiter fest, dass der Beschwerdegegner beim Abschluss des Mietvertrags im Jahre 2005 mit der Tochter der bisherigen Mieterin den Mietzins auf ein marktgerechtes Niveau hätte anheben können, worauf er aber verzichtet habe. Trotz der für heutige Bedürfnisse ungewöhnlichen Anordnung der Wohnräume verbleibe dem Eigentümer durchaus eine bestimmungsgemässe und wirtschaftlich sinnvolle Nutzung. Unberührt geblieben sei im Übrigen die Möglichkeit, die Liegenschaft für ein stilles Gewerbe zu nutzen.
2.5.2 Unter diesen Voraussetzungen ist nicht von einer besonders schwer wiegenden Eigentumsbeschränkung auszugehen, zumal eine bestimmungsgemässe und wirtschaftlich gute Nutzung nach den vorinstanzlichen Feststellungen möglich bleibt. Umgekehrt ist nach dem Gesagten nicht massgebend, ob die Liegenschaft des Beschwerdegegners in der Bauzone 2a besser genutzt werden könnte, wie dies das Appellationsgericht annimmt. Hinzu kommt, dass das Appellationsgericht davon ausgeht, dass durchaus gewisse Änderungsmöglichkeiten im Innenausbau möglich sind. Unbestritten ist dies in Bezug auf die Anpassung der Isolation an heutige wärmetechnische Anforderungen. Umstritten ist dagegen, ob die bauliche Erweiterung des Hauses den Schutzvorschriften widersprechen würde. Das Appellationsgericht erwähnt zunächst die Erweiterung des Quertrakts, beispielsweise zur Einrichtung einer neuen Küche, um dann jedoch darauf hinzuweisen, dass das BVD in seiner Vernehmlassung vom 16. Februar 2011 ausgeführt habe, dass ein weiterer Ausbau des Denkmals, beispielsweise eine Erweiterung auf der Ostseite, aus heutiger Sicht nicht mehr vorstellbar sei. Es erscheine daher praktisch ausgeschlossen, zusätzlichen Wohnraum über eine bauliche Erweiterung des Schutzobjekts zu gewinnen. Der Beschwerdeführer weist zu Recht darauf hin, dass die Äusserung des BVD in der besagten Vernehmlassung eine andere war. Es hat darin die Ansicht der Expropriationskommission bestätigt, wonach eine Erweiterung des Quertrakts denkbar ist, und lediglich einen darüber hinausgehenden Ausbau als unvorstellbar eingestuft. Die Sachverhaltsfeststellung im angefochtenen Entscheid entspricht insofern nicht den Akten und ist zu korrigieren (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Genau welche baulichen Veränderungen auch in Zukunft noch zulässig sein werden, braucht indessen vorliegend nicht entschieden zu werden. Massgeblich ist nach dem Gesagten, dass eine bestimmungsgemässe und wirtschaftlich gute Nutzung auch künftig möglich sein wird.
2.5.3 Unter dem Titel der ersten Tatbestandsvariante der materiellen Enteignung erachtete das Appellationsgericht unter Hinweis auf die bundesgerichtliche Rechtsprechung als weiteres wesentliches Kriterium, ob wenigstens auf dem restlichen Teil der Parzelle noch ein Gebäude errichtet werden könnte. Dieses Kriterium zog es auch heran, um den Tatbestand des Sonderopfers zu bejahen. Es trifft zu, dass sich nach der Rechtsprechung die Frage, ob dem Eigentümer eine angemessene wirtschaftliche Nutzung verbleibt, nicht allein mit Blick auf das Schutzobjekt, sondern auch auf dessen Umschwung beurteilt (Urteil 1C_487/2009 vom 10. August 2010 E. 2.2 mit Hinweisen). Indessen lässt sich eine derartige Gesamtbetrachtung im vorliegenden Fall nicht als Argument für die Bejahung einer materiellen Enteignung heranziehen. Im Urteil 1A.120/1993 vom 23. Mai 1995 hielt das Bundesgericht fest, dass, wenn ein unter Schutz gestelltes Gebäude sehr schlecht nutzbar ist und zudem durch die verfügte Eigentumsbeschränkung eine weitere Überbauung der betreffenden, grossen Parzelle verhindert wird, es durchaus denkbar ist, dass in einem solchen Fall eine enteignungsähnliche Situation zu erblicken wäre (a.a.O. E. 5d). Im Urteil 1A.95/1994 vom 4. April 1995 hatte sich das Bundesgericht mit dem Einwand des von einer Unterschutzstellung betroffenen Beschwerdeführers auseinanderzusetzen, welcher geltend machte, das geschützte Wohnhaus benötige aufgrund der erforderlichen Grenzabstände nur ein Grundstück mit einer Fläche von 1'032 m2. Die Unterschutzstellung der gesamten Liegenschaft (inkl. Garten) mit einer Fläche von rund 1'776 m2 führe somit zumindest insoweit zu einer materiellen Enteignung, als neben der für das bestehende Wohnhaus erforderlichen Fläche zusätzlich 744 m2 Land nicht mehr überbaut werden dürften. Das Bundesgericht hielt dem entgegen, dass bei der verbleibenden Fläche von 744 m2 nicht von einem selbstständig verwertbaren Grundstücksteil gesprochen werden kann (a.a.O. E. 6). Aus dieser Rechtsprechung lässt sich zum einen ableiten, dass eine materielle Enteignung infolge einer Denkmalschutzmassnahme zur Diskussion steht, wenn die nicht überbaute Parzellenfläche gross ist und aufgrund eines sie erfassenden Bauverbots nicht mehr bestimmungsgemäss und wirtschaftlich sinnvoll genutzt werden kann. Zum andern ist daraus ersichtlich, dass es nicht für eine materielle Enteignung spricht, wenn das bestehende Gebäude die Parzelle bereits in grossem Umfang ausnutzt und folglich in Bezug auf die restliche Fläche nicht von einem selbstständig verwertbaren Grundstücksteil gesprochen werden kann. Ein derartiger Fall liegt hier vor. Es besteht in Bezug auf den Umschwung des Hauses Wenk kein Bauverbot. Das Haus nutzt die bestehende Parzellenfläche bereits gut aus, sodass faktisch auf der verbleibenden Fläche kaum mehr ein Gebäude errichtet werden könnte. Dieser Umstand spricht, entgegen den Erwägungen im angefochtenen Entscheid, für die Annahme, die gegenwärtige Nutzung sei bestimmungsgemäss und wirtschaftlich gut, nicht dagegen.
2.6 Zu prüfen bleibt, ob dem Beschwerdegegner mit der Schutzmassnahme ein unzumutbares Opfer zugunsten der Allgemeinheit auferlegt worden ist, sodass es mit der Rechtsgleichheit nicht vereinbar wäre, wenn ihm hierfür keine Entschädigung geleistet würde. Nach dem Gesagten ist dabei unwesentlich, ob Vergleichsobjekte eine grössere Grundstücksfläche aufweisen, worauf (zusätzliche) Wohnbauten mit einer wirtschaftlich sinnvollen Nutzfläche erstellt werden könnten. Ein Sonderopfer vermag auch nicht der Umstand zu begründen, dass das Haus Wenk einen gegenüber Vergleichsobjekten erhöhten Unterhaltsbedarf aufweist. Massgeblich sind auch hier die verbleibenden Nutzungsmöglichkeiten, welche nach dem Gesagten nach wie vor als wirtschaftlich gut bezeichnet werden können (vgl. BGE 112 Ib 263 E. 5b S. 269 f.; 111 Ib 257 E. 4c S. 268 f.; Urteil 1A.19/2004 vom 25 Oktober 2004 E. 3.2.2, in: ZBl 107/2006 S. 41; je mit Hinweisen). Zudem ist zu berücksichtigen, dass gemäss § 11 des kantonalen Gesetzes über den Denkmalschutz Beiträge an die Kosten der Erhaltung und Restaurierung von Denkmälern geleistet werden können (vgl. BGE 112 Ib 263 E. 5b S. 269; Urteile 1A.19/2004 vom 25 Oktober 2004 E. 3.2.2, in: ZBl 107/2006 S. 41; 1A.95/1994 vom 4. April 1995 E. 7b mit Hinweis). Insgesamt kann deshalb nicht gesagt werden, dem Beschwerdegegner werde durch die Denkmalschutzmassnahme ein Sonderopfer abverlangt.
3. Zusammenfassend ergibt sich, dass das Appellationsgericht zu Unrecht von einer materiellen Enteignung ausgegangen ist und dadurch Art. 26 Abs. 2 BV und Art. 5 Abs. 2 RPG verletzt hat. Wie es sich mit dem vom Beschwerdeführer zusätzlich ins Feld geführten Umstand verhält, dass der Beschwerdegegner zweimal schriftlich beteuert hat, das Haus Wenk nicht abreissen zu wollen, kann bei diesem Ergebnis offen bleiben. Die Beschwerde ist gutzuheissen und der angefochtene Entscheid aufzuheben. Die Sache wird zum neuen Entscheid über die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Appellationsgericht zurückgewiesen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem unterliegenden Beschwerdegegner aufzuerlegen (Art. 66 Abs. 1 BGG). Dem obsiegenden beschwerdeführenden Kanton Basel-Stadt ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der angefochtene Entscheid aufgehoben. Die Sache wird zur neuen Beurteilung der Kosten- und Entschädigungsfolgen an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdegegner auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 20. April 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold