Sachverhalt:
A. Die Swisscom Mobile AG reichte am 19. Januar 2004 beim Bauinspektorat des Kantons Basel-Landschaft ein Baugesuch ein für die Errichtung einer Mobilfunkkommunikationsanlage mit GSM und UMTS in Bottmingen. Die betreffende Parzelle Nr. 3388 Grundbuch Bottmingen gehört dem Kanton Basel-Landschaft und befindet sich gemäss geltendem Zonenplan in einer Zone für öffentliche Werke und Anlagen an der Schlossgasse 10. Die Antennenanlage umfasst einen auf dem Boden stehenden Kasten (Grundriss: 3.32 m auf 2.27 m, Höhe: 2.86 m) und einen am Boden stehenden Antennenmast von 25 m Höhe, auf dem ein dünner Mast von 1 m aufgesetzt wird. Auf Masthöhe zwischen 20 m und 25 m sollen die GSM- und UMTS-Antennen installiert werden.
Die Anlage ist ca. 130 m vom Eingang des Bottminger Schlosses entfernt, welches unter kantonalem Denkmalschutz steht. Es ist nach Angabe des Kantonsgerichts eines der kunsthistorisch bedeutendsten Baudenkmäler des Kantons Basel-Landschaft und eines der wenigen erhaltenen Wasserschlösser der Schweiz. Das Schloss ist von einem Park umgeben.
Auf Einsprache der Einwohnergemeinde Bottmingen und weiterer Personen und nachdem die kantonale Denkmal- und Heimatschutzkommission am 16. November 2004 beschlossen hatte, dass sich das Bauvorhaben störend auf das Schloss auswirke, wies das Bauinspektorat das Baugesuch mit Entscheid vom 9. Februar 2005 ab. Zur Begründung wurde ausgeführt, die geplante Antennenanlage müsse in Anbetracht der geringen Distanz zum Schloss am vorgesehenen Standort als Fremdkörper bezeichnet werden, welcher das schützenswerte Orts- oder Landschaftsbild erheblich stören und die Umgebung in einer unzulässigen Art und Weise beeinträchtigen würde (Entscheid Bauinspektorat, S. 10).
B. Mit Entscheid vom 28. Juni 2005 hiess die Baurekurskommission des Kantons Basel-Landschaft eine Beschwerde der Swisscom Mobile AG gut, nachdem sie einen Augenschein durchgeführt hatte, und ordnete die Bewilligung des Baugesuchs an. Zur Begründung wurde ausgeführt, es bestehe kein speziell geschütztes Ortsbild in nächster Umgebung der Antenne, wegen des verhältnismässig grossen Abstandes zwischen Antenne und Schloss werde die Störung des geschützten Denkmals relativiert. Angesichts des Antennenstandortes am Rande des Busbahnhofs und der angrenzenden Tramlinie wirke die Umgebung bereits heute heterogen; es könne nicht von einem Drama für das Ortsbild gesprochen werden (Entscheid Baurekurskommission, S. 14 ff.).
C. Mit Urteil vom 21. Februar 2007 hiess das Kantonsgericht Basel-Landschaft die Beschwerde der Einwohnergemeinde Bottmingen gut und hob den Entscheid der Baurekurskommission auf, nachdem es gleichentags im Beisein der Parteien einen Augenschein durchgeführt hatte. Das Kantonsgericht war der Ansicht, dass die Baubewilligung sowohl nach kantonalem Denkmalschutzrecht als auch nach kommunalem Zonenreglement zu verweigern sei. Die geplante Antennenanlage befinde sich im "näheren Sichtbereich" des Schlosses und beeinträchtige das geschützte Kulturdenkmal in seiner Umgebung. Zudem sei die kommunale Ästhetikvorschrift als Eingliederungsgebot (statt als "Verunstaltungsverbot") auszulegen.
D. Die Swisscom Mobile AG führt mit Eingabe vom 23. Mai 2007 Beschwerde an das Bundesgericht und beantragt, den Entscheid des Kantonsgerichts vom 21. Februar 2007 aufzuheben und den Entscheid der Baurekurskommission vom 28. Juni 2005 zu bestätigen.
E. Die Einwohnergemeinde Bottmingen beantragt in der Vernehmlassung vom 30. Juni 2007 die Abweisung der Beschwerde. Das Bauinspektorat hat auf eine Stellungnahme verzichtet. Das Kantonsgericht hat sich zur Beschwerde geäussert, ohne einen Antrag zu stellen.
Das als beschwerdeberechtigte Bundesbehörde eingeladene Bundesamt für Umwelt hat auf eine Stellungnahme verzichtet. Das ebenfalls in die Vernehmlassung einbezogene Bundesamt für Kultur ist der Ansicht, die geplante Anlage sei für die visuelle Integrität des Schlosses und für das bestehende Ortsbild ungünstig.
Die Swisscom Mobile AG hat sich dazu mit Replik vom 26. Oktober 2007 geäussert.
Erwägungen:
1. 1.1 Mit dem angefochtenen Entscheid wird die Baubewilligung der Mobilfunkanlage verweigert. Die Beschwerdeführerin hat als Baugesuchstellerin am kantonalen Verfahren teilgenommen und hat ein schutzwürdiges Interesse an der Aufhebung des angefochtenen Entscheids. Gemäss Art. 89 Abs. 1 BGG ist sie zur Beschwerde berechtigt.
1.2 Das Bundesgericht kann angefochtene Urteile nicht uneingeschränkt, sondern nur hinsichtlich der im Gesetz (Art. 95 ff. BGG) genannten Beschwerdegründe überprüfen. Ist auf die zu beurteilenden Fragen kantonales Recht anwendbar, ist die Bundesrechtsrüge gemäss Art. 95 lit. a BGG auf die Rüge der Verletzung verfassungsmässiger Rechte beschränkt. Gemäss Art. 106 Abs. 2 BGG prüft das Bundesgericht die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist. Im Anwendungsbereich dieser Bestimmung besteht eine qualifizierte Rügepflicht; die Praxis zum Rügeprinzip gemäss Art. 90 Abs. 1 lit. b OG wird weitergeführt (BGE 133 II 249 E. 1.4 S. 254). Es obliegt namentlich dem Beschwerdeführer darzulegen, inwiefern die gerügten verfassungsmässigen Rechte durch den angefochtenen Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (BGE 110 Ia 1 E. 2a S. 3 f.; 125 I 492 E. 1b S. 495, mit Hinweisen).
1.3 Im Streit liegt die Auslegung der kantonalen und kommunalen Vorschriften über die Bauästhetik und den kantonalen Denkmalschutz. Das Bundesgericht prüft das kantonale (und kommunale) Recht nach dem Gesagten nicht frei, sondern nur im Umfang der genügend begründeten Verfassungsrügen. Unter diesem Vorbehalt ist auf das rechtzeitig eingelegte Rechtsmittel einzutreten.
2. Entgegen der Ansicht der Beschwerdeführerin hat das Kantonsgericht nicht bloss ästhetisches Ermessen, sondern Rechtsfragen geprüft, nämlich die Tragweite einer kantonalen Bestimmung über den Denkmalschutz und einer kommunalen Vorschrift über die Bauästhetik. Das Gericht hatte zu entscheiden, welche der beiden Vorinstanzen den kantonalen Rechtsbegriff des "näheren Sichtbereichs" richtig auslegte und ob die Baurekurskommission die kommunale Ästhetikvorschrift bloss als Verunstaltungsverbot - statt als Eingliederungsgebot - anwenden durfte. Da das Gericht den Sachverhalt von Amtes wegen festzustellen hat (§ 12 Abs. 1 Gesetz über die Verfassungs- und Verwaltungsprozessordnung vom 16. Dezember 1993, VPO/BL) und die Rechtsfragen räumliche Bezüge aufweisen, ist die Durchführung des Augenscheins nicht zu beanstanden. Die wesentlichen Ergebnisse des Augenscheins werden im angefochtenen Urteil dargelegt. In tatsächlicher Hinsicht steht fest, dass das Schloss ein geschütztes Kulturdenkmal ist, der Abstand zum Antennenstandort 100 m (Schlossmauer) bzw. 130 m (Schlosseingang) beträgt, dass die geplante Antenne mit einer Höhe von 25 m die umliegenden Gebäude deutlich überragt und dass zumindest von Teilen des Schlossgartens aus eine direkte Sichtverbindung zur Antenne besteht. Das angefochtene Urteil beruht auf nachvollziehbaren rechtlichen Überlegungen und ist - im Umfang der genügend begründeten Rügen - verfassungsrechtlich haltbar. Zu den einzelnen Vorbringen ist auszuführen, was folgt.
3. Die Beschwerdeführerin rügt eine Verletzung des Anspruchs auf rechtliches Gehör. Zum Ersten sei nur von der Verhandlung im Gerichtsgebäude, nicht jedoch von der vorangehenden Begehung des Geländes ein Protokoll erstellt worden. Zum Zweiten habe das Kantonsgericht die Sichtbeziehung zwischen Antennenanlage und Schloss ungenau und abweichend von der Baurekurskommission festgestellt. Zum Dritten hätten die Kantonsrichter die Profilhöhe zuerst tiefer als 25 m geschätzt, weshalb eine Nachmessung habe durchgeführt werden müssen, um die Profilhöhe zu bestätigen.
3.1 Die Einwohnergemeinde Bottmingen macht geltend, das Kantonsgericht habe den Sachverhalt - im Gegensatz zur Baurekurskommission - vollständig festgestellt. Die Baurekurskommission habe nur das engere Umfeld zwischen projektierter Antennenanlage, Postgebäude und Bahnlinie in Augenschein genommen. Sie habe sich nicht die Mühe gemacht, das weitere Umfeld der Anlage abzuschreiten und das Objekt aus verschiedenen Blickwinkeln in Augenschein zu nehmen. Demgegenüber habe das Kantonsgericht die Situation umfassend besichtigt, die benachbarten Strassenzüge und das geschützte Kulturobjekt einbezogen sowie einen Rundgang rund um das Weiherschloss durch den Schlosspark gemacht.
3.2 Auf das Protokoll eines Augenscheines kann nach der Rechtsprechung grundsätzlich nicht verzichtet werden, soweit die Äusserungen der Parteien im Urteil nicht hinlänglich wiedergegeben werden (BGE 126 I 213 E. 2 S. 217). Die wesentlichen Ergebnisse des Augenscheins sind in einem Protokoll, Aktenvermerk oder zumindest im Entscheid klar zum Ausdruck zu bringen (BGE 106 Ia 73 E. 2a S. 75).
Für die Protokollierung von Gerichtsverhandlungen und Befragungen hat das Bundesgericht erkannt, der Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) sei nur dann gewahrt, wenn das Gericht die Ausführungen und Eingaben auch tatsächlich zur Kenntnis nehme und pflichtgemäss würdige; dafür bestehe nur Gewähr, wenn die Ausführungen und Eingaben der Parteien und allfälliger Dritter (Zeugen, Sachverständige usw.) zu Protokoll genommen würden. Dies bedeute allerdings nicht, dass insbesondere sämtliche Parteiäusserungen zu protokollieren seien. Das Protokoll könne sich auf die für die Entscheidfindung im konkreten Fall wesentlichen Punkte beschränken (BGE 124 V 389 E. 4). Die strengen, für das Strafverfahren geltenden Grundsätze könnten jedoch nicht ohne weiteres auf das Verwaltungsverfahren übertragen werden (BGE 130 II 473 E. 4.4 S. 479). Das Protokoll diene einerseits den Richtern und dem Gerichtsschreiber als Gedächtnisstütze, andererseits solle es Auskunft über die Einhaltung der Verfahrensvorschriften geben und die Rechtsmittelinstanzen in die Lage versetzen, den angefochtenen Entscheid zu überprüfen (Urteil 2A.450/1999 vom 14. Januar 2000 E. 3b/aa).
3.3 In der Literatur wird für das Verwaltungsverfahren gewisser Kantone - nicht des Kantons Basel-Landschaft - postuliert, dass über die wesentlichen Ergebnisse eines Augenscheins immer ein Protokoll zu erstellen sei (Kanton Zürich, Alfred Kölz/Jürg Bosshart/Martin Röhl, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Auflage, Zürich 1999, § 7 Rz. 49) bzw. dass die Feststellungen vor Ort und die Aussagen der Beteiligten zu protokollieren seien, wenn darauf abgestellt werden soll (Kanton Bern, Thomas Merkli/Arthur Aeschlimann/Ruth Herzog, Kommentar zum Gesetz über die Verwaltungsrechtspflege im Kanton Bern, Bern 1997, Art. 19 Rz. 33, Art. 123 Rz. 1).
3.4 Bei den Akten liegt bloss ein handschriftliches Protokoll der an den Augenschein anschliessenden mündlichen Gerichtsverhandlung. Gemäss der Stellungnahme des Kantonsgerichts wurden die Notizen, welche die Gerichtsschreiberin während des Augenscheins angefertigt hat, nach Abfassung der schriftlichen Urteilsbegründung vernichtet.
Da kein Augenscheinprotokoll zu den Akten genommen wurde, beurteilt sich die Rüge danach, ob die wesentlichen Ergebnisse des Augenscheins im Entscheid klar zum Ausdruck gebracht werden. Dass das kantonale Recht - wie in anderen Kantonen - eine weitergehende Protokollpflicht vorschreibt, wird nicht behauptet. Ebenso wird nicht behauptet, dass das Gericht am Augenschein nicht vollzählig gewesen wäre.
Augenschein, Gerichtsverhandlung und Urteilsfällung fanden am gleichen Tag statt. Die Parteien waren anwesend und hatten daher Gelegenheit, sich zu den Beweiserhebungen des Gerichts zu äussern. Da sogleich das Urteil gefällt wurde, käme dem Augenscheinprotokoll gegenüber einer vollständigen Urteilsbegründung keine selbständige Bedeutung zu. Gibt die Urteilsbegründung bei diesen Umständen die wesentlichen Ergebnisse des Augenscheins klar wieder, ist das rechtliche Gehör gewahrt. Im angefochtenen Urteil werden die Ergebnisse des Augenscheins dargelegt. Die Beschwerdeführerin behauptet nicht, dass etwas Wesentliches fehlen würde. Auch ist der Umstand, dass das Gericht die Profilhöhe nachmessen liess und sich die Profilhöhe dabei als richtig erwies, mit Blick auf eine pflichtgemässe Sachverhaltsabklärung nicht zu beanstanden. Insoweit ist die Gehörsrüge unbegründet.
3.5 Soweit die Beschwerdeführerin die Feststellung der tatsächlichen Sichtbarkeit der Antenne beanstandet, ist das Vorbringen als Sachverhaltsrüge entgegen zu nehmen. Gemäss Art. 97 Abs. 1 BGG kann die Feststellung des Sachverhalts nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann. "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 I 249 E. 1.2.2 S. 252).
Ausser dem formellen Einwand, es fehle ein Augenscheinprotokoll, beruft sich die Beschwerdeführerin im Wesentlichen auf eine Stelle im Entscheid der Baurekurskommission. Demgemäss sei die Antenne mit Blick zum - anstelle weg vom - Schloss überhaupt nicht sichtbar, wogegen das Kantonsgericht ausführe, man habe das Schloss und die geplante Anlage auch vom Tram sehen können. Die Beschwerdeführerin anerkennt jedoch, dass die Antenne von Teilen des Schlossparks aus sichtbar ist, und sie widerspricht der Darlegung der Einwohnergemeinde nicht, wonach der Augenschein des Kantonsgerichts umfassender gewesen sei als jener der Baurekurskommission. Zudem hat das Kantonsgericht sofort nach dem Augenschein - am gleichen Tag - sein Urteil gefällt. Die Gerichtsmitglieder hatten daher die Ergebnisse des Augenscheins frisch im Gedächtnis, als sie das Urteil fällten. Bei den gegebenen Umständen besteht kein Anlass, an den tatsächlichen Feststellungen der Sichtbarkeit der Antenne im angefochtenen Urteil zu zweifeln. Die Rüge ist unbegründet.
4. Die Beschwerdeführerin rügt eine willkürliche Anwendung der gesetzlichen Kognitionsbeschränkung (§ 45 lit. a und b VPO/BL). Aufgabe des Kantonsgerichts sei die Prüfung auf Rechtsfehler, nicht auf Angemessenheit des Entscheids der Baurekurskommission. Der Baurekurskommission stehe bei der Anwendung und Auslegung der Ästhetikklauseln ein besonderer Ermessensspielraum zu. Das Kantonsgericht habe dies missachtet und habe die sich stellenden Fragen völlig frei wie eine erste Beschwerdeinstanz beantwortet.
4.1 Gemäss Art. 9 BV hat jede Person Anspruch darauf, von den staatlichen Organen ohne Willkür behandelt zu werden. Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 132 I 13 E. 5.1 S. 17 f.; 131 I 467 E. 3.1 S. 473 f., je mit Hinweisen).
4.2 Nach der Rechtsprechung steht der Baubewilligungsbehörde bei der Auslegung und Handhabung von Ästhetikklauseln regelmässig ein besonderer Ermessensspielraum zu, der im Rechtsmittelverfahren zu beachten ist. Bei der Beurteilung der Ästhetik eines Bauvorhabens spielen zwangsläufig persönliche Anschauungen und subjektives Empfinden - das heisst Ermessenselemente - mit. Dies hat zur Folge, dass sich die Rechtsmittelinstanzen bei der Überprüfung solcher Ermessensentscheide Zurückhaltung auferlegen und diese respektieren müssen, wenn sie nachvollziehbar sind. Erweist sich die ästhetische Würdigung im Rahmen der geltenden Zonenordnung als vertretbar, so darf die Rechtsmittelinstanz nicht mit einer abweichenden Würdigung in das Ermessen der Baubewilligungsbehörde eingreifen (Urteil 1P.678/2004 vom 21. Juni 2005 E. 4, publiziert in ZBl 107/2006 S. 430).
4.3 Im vorliegenden Fall hat das Kantonsgericht Rechtsfragen des Denkmal- und Ortsbildschutzes aufgegriffen. Es ist einzuräumen, dass diese Rechtskontrolle teilweise nur schwer von einer Ermessensprüfung zu trennen ist. Das Kantonsgericht vertritt jedoch nicht bloss eine abweichende ästhetische Beurteilung, sondern eine andere Gesetzesauslegung.
Gemäss § 9 des kantonalen Gesetzes über den Denkmal- und Heimatschutz vom 9. April 1992 (DHG/BL) dürfen geschützte Kulturdenkmäler "durch bauliche oder technische Veränderungen in ihrer Umgebung nicht beeinträchtigt werden. Als Umgebung gilt der nähere Sichtbereich des Kulturdenkmals." Indem das Kantonsgericht festhielt, dass sich die geplante Anlage im "näheren Sichtbereich" des Schlosses befinde und dieses als Kulturdenkmal beeinträchtige, hat es die Tragweite des Rechtsbegriffs des näheren Sichtbereichs gemäss § 9 DHG/BL und damit eine Rechtsfrage geklärt. Zwar ist wegen der Unbestimmtheit des Begriffs auch hier eine zurückhaltende Gerichtsprüfung angezeigt. Hinzu kommt jedoch die - ebenfalls anwendbare - Vorschrift über die Bauästhetik gemäss dem Zonenreglement der Gemeinde Bottmingen. Nach Ansicht des Kantonsgerichts hat die Baurekurskommission diese Vorschrift als Verunstaltungsverbot statt als Einordnungsgebot angewandt und insofern Recht verletzt. Es handelt sich auch hier nicht bloss um eine abweichende ästhetische Beurteilung, sondern um eine andere Rechtsauffassung. Es ist daher nicht willkürlich, dass das Kantonsgericht im Rahmen der Rechtsprüfung von der Auffassung der Baurekurskommission abwich. Die Rüge ist unbegründet.
5. Die Beschwerdeführerin beantragt in der Replik, die Stellungnahme des Bundesamtes für Kultur vom 13. September 2007 sei aus dem Recht zu weisen, weil das Bundesamt ohne Wissen der Parteien einen Augenschein durchgeführt habe.
5.1 Das Bundesamt für Kultur ist als Fachbehörde zur Beurteilung von Fragen der Denkmalpflege und des Ortsbildschutzes zuständig. Gemäss eigenen Angaben hat es am 10. September 2007 einen Augenschein durchgeführt. Dabei ging es um die Beurteilung der Auswirkungen der geplanten Antenne auf das Ortsbild und das Schutzobjekt, nicht um weitere Sachverhaltsfeststellungen. Da die Ortsbesichtigung bloss der Bildung der Fachmeinung diente, musste sie den Parteien nicht angezeigt werden. Es reicht aus, dass sich die Beschwerdeführerin in ihrer Replik zur Stellungnahme des Bundesamtes äussern konnte. Der Antrag, die Stellungnahme aus dem Recht zu weisen, ist unbegründet.
5.2 Nach Ansicht des Bundesamtes für Kultur beeinträchtigt die geplante Sendeanlage die visuelle Integrität des Schutzobjektes. Die Wahl des Standortes sei aus der Sicht der Eingliederung in das bestehende Ortsbild als ungünstig zu bezeichnen. Diese Beurteilung stimmt mit jener des Kantonsgerichts überein. Die Stellungnahme ist daher als Indiz für die sachliche Richtigkeit des angefochtenen Entscheids zu werten, soweit sich das Bundesgericht dazu im vorliegenden Verfahren überhaupt zu äussern hat.
6. Die Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang wird die Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG). Die obsiegende Einwohnergemeinde Bottmingen ist nicht Baubewilligungsbehörde, sondern Baueinsprecherin, sie handelt aber kraft ihrer raumplanerischen Aufgaben im amtlichen Wirkungskreis. Daher ist ihr gemäss Art. 68 Abs. 3 BGG keine Parteientschädigung zuzusprechen (vgl. Urteil 1C_122/2007 vom 24. Juli 2007 E. 6).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird der Beschwerdeführerin, der Einwohnergemeinde Bottmingen, der Bau- und Umweltschutzdirektion des Kantons Basel-Landschaft, Bauinspektorat, dem Kantonsgericht Basel-Landschaft, Abteilung Verfassungs- und Verwaltungsrecht, sowie dem Bundesamt für Umwelt und dem Bundesamt für Kultur schriftlich mitgeteilt.
Lausanne, 24. Januar 2008
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Thönen