Sachverhalt:
A. Am 1. Juli 1999 wählte der Universitätsrat der Universität Basel A._ zum Ordinarius an der Fakultät X._, mit Antritt per 1. Oktober 1999. Am 9. September 2003 ordnete das Rektorat eine Untersuchung über das Funktionieren des Seminars Y._ der Fakultät X._ an, die von Obergerichtspräsident Dr. B._ durchgeführt wurde. Am 24. August 2005 wurde A._ vom Rektorat der Universität anlässlich eines Mitarbeitergespräches formell abgemahnt, in verschiedenen Punkten bis Ende März 2006 eine Verbesserung seiner Leistungen bzw. seiner Pflichterfüllung zu erzielen. Auf Antrag der Fakultät sprach das Rektorat am 27. November 2007 die Kündigung des Arbeitsverhältnisses mit A._ per Ende Herbstsemester 2009/2010 aus. Am 17. Dezember 2007 wurde A._ zudem von seinen Arbeitspflichten teilweise freigestellt.
B. Den von A._ hiegegen erhobenen Rekurs hiess die Rekurskommission der Universität Basel mit Entscheid vom 12. Juni 2008 gut und hob die Verfügung der Universität Basel vom 27. November 2007 betreffend Kündigung sowie die Verfügung vom 17. Dezember 2007 betreffend Teilfreistellung auf.
C. Die von der Universität Basel hiegegen erhobene Beschwerde hiess das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht mit Entscheid vom 2. Juni 2010 betreffend Kündigung gut und hob den Entscheid der Rekurskommission der Universität Basel vom 12. Juni 2008 auf. Soweit die Teilfreistellung betreffend, trat das kantonale Gericht auf die Beschwerde nicht ein.
D. Mit Beschwerde beantragt A._, es sei unter Aufhebung des Entscheides des Appellationsgerichtes des Kantons Basel-Stadt die Kündigung der Universität Basel vom 27. November 2007 für ungültig zu erklären und es sei seine Weiterbeschäftigung anzuordnen.
Das Appellationsgericht des Kantons Basel-Stadt und die Universität Basel schliessen auf Abweisung der Beschwerde.
In ihren weiteren Eingaben hielten die Parteien an ihren Begehren fest.
E. Mit Verfügung vom 27. Oktober 2010 erkannte die Instruktionsrichterin der Beschwerde aufschiebende Wirkung zu.
Erwägungen:
1. Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d, Art. 90 BGG). Dieser bestätigt die Rechtmässigkeit einer ausgesprochenen Kündigung im Rahmen eines öffentlich-rechtlichen Anstellungsverhältnisses und betrifft somit eine öffentlich-rechtliche Angelegenheit im Sinn von Art. 82 lit. a BGG. Da mit dem Begehren um Weiterbestehen des Arbeitsverhältnisses Lohnforderungen und allenfalls weitere geldmässige Ansprüche in Zusammenhang stehen, liegt eine vermögensrechtliche Streitigkeit vor (Urteil 8C_826/2009 vom 1. Juli 2010 E. 1.1 mit Hinweis), weshalb der Ausschlussgrund von Art. 83 lit. g BGG nicht gegeben ist. Die Beschwerde ist auf dem Gebiet der öffentlich-rechtlichen Arbeitsverhältnisse unter anderem zulässig, wenn der Streitwert nicht weniger als Fr. 15'000.- beträgt (Art. 85 Abs. 1 lit. b BGG). Diese Streitwertgrenze ist im vorliegenden Verfahren offensichtlich erreicht, so dass auf die Beschwerde einzutreten ist.
2. 2.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht (einschliesslich der verfassungsmässigen Rechte) sowie von interkantonalem Recht gerügt werden (Art. 95 lit. a und e BGG). Im Gegensatz zu kantonalrechtlichen Bestimmungen, deren Verletzung - vorbehältlich politische Rechte umschreibender Normen (Art. 95 lit. d BGG) - lediglich in Form der Verletzung von kantonalen verfassungsmässigen Rechten (Art. 95 lit. c BGG) oder für den Fall gerügt werden kann, dass damit gleichzeitig Bundesrecht oder Völkerrecht verletzt wird (so etwa bei einer Verletzung von Grundrechten der BV, insbesondere des Willkürverbotes [Art. 9 BV] oder des Rechtsgleichheitsgebotes [Art. 8 BV]), unterliegt die Geltendmachung der Verletzung interkantonalen Rechts hinsichtlich der bundesgerichtlichen Überprüfungsbefugnis keinen derartigen Einschränkungen (Urteil 8C_260/2010 vom 12. Januar 2011 E. 2.2.1).
2.2 Das interkantonale Recht im Sinne von Art. 95 lit. e BGG umfasst zunächst die interkantonalen Vereinbarungen. Werden durch ein solches Konkordat interkantonale Organisationen oder Einrichtungen geschaffen, gelten auch die von deren Organen erlassenen Rechtsnormen als interkantonales Recht (Markus Schott: in Basler Kommentar zum Bundesgerichtsgesetz, Basel 2008 N. 65 zu Art. 95 BGG mit Hinweis auf das Urteil 2P.176/2001 vom 6. November 2001 E. 1a/aa). Soweit das interkantonale Recht auf das Privatrecht oder auf das Recht eines Kantons verweist, hat dieses ebenfalls als subsidiäres interkantonales Recht zu gelten (vgl. zur analogen Problematik des Verweises des kantonalen Rechts auf das Privatrecht: Urteil 1C_68/2007 vom 14. September 2007 E. 2.3 mit zahlreichen Hinweisen).
2.3 Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Für die Verletzung von Grundrechten und von kantonalem sowie interkantonalem Recht gilt demgegenüber ein qualifiziertes Rügeprinzip. Letztinstanzlich werden derartige Verletzungen nur insofern geprüft, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Insoweit gelten die gleichen Begründungsanforderungen wie früher bei der staatsrechtlichen Beschwerde nach Art. 90 Abs. 1 lit. b OG (BGE 133 III 589 E. 2 S. 591 f.; 133 IV 286 E. 1.4 S. 287 f.). Das Bundesgericht untersucht nicht von sich aus, ob der angefochtene kantonale Entscheid die Grundrechte oder kantonales und interkantonales Recht verletzt, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen; die erhobenen Rügen müssen zudem in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus. Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (BGE 133 II 396 E. 3.2 S. 400; 130 I 258 E. 1.3 S. 262; 129 I 113 E. 2.1 S. 120; je mit Hinweisen; Urteil 9C_722/2007 vom 11. April 2008 E. 1.2).
2.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (BGE 129 I 8 E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
3. 3.1 Streitig ist, ob die Kündigungsverfügung vom 27. November 2007 der Universität Basel rechtmässig war. Diese Entlassung erfolgte in Anwendung von § 9 Abs. 3 lit. b und c der Personalordnung der Universität Basel vom 22. Oktober 1998 (nachstehend: die Personalordnung). Die Universität Basel ist gemäss § 1 Abs. 2 des Vertrages zwischen den Kantonen Basel-Landschaft und Basel-Stadt über die gemeinsame Trägerschaft der Universität Basel vom 27. Juni 2006 (nachstehend: der Universitätsvertrag) eine bikantonale öffentlich-rechtliche Anstalt mit eigener Rechtspersönlichkeit und der Universitätsrat ist in Anwendung von § 25 lit. i desselben Vertrages (in Verbindung mit Art. 48 Abs. 4 BV) befugt, die Personalordnung zu erlassen. Die bereits vor Abschluss des Universitätsvertrages in Kraft gestandene Personalordnung wurde am 24. Mai 2007 auch vom Universitätsrat beschlossen. Die Personalordnung stellt somit interkantonales Recht im Sinne von Art. 95 lit. e BGG dar (vgl. E. 2.2 hievor).
3.2 Die Rekurskommission der Universität Basel hat als Beschwerdeinstanz im Sinne von § 30 des Universitätsvertrages die Kündigungsverfügung aufgehoben. Sie begründete dies damit, angesichts der gesamten Situation sei die Kündigung als gravierendste aller denkbaren Massnahmen sachlich nicht begründet und unangemessen. Das Appellationsgericht des Kantons Basel-Stadt hat den Rekursentscheid aufgehoben und die Kündigung durch die Universität bestätigt. Es hat namentlich erwogen, aufgrund der Stellung der Rekurskommission sei diese als gerichtliche Instanz zu qualifizieren. Gerichtliche Instanzen seien aber nur befugt, die angefochtene Verfügung auf Sach- und Rechtsfehler, nicht aber auf ihre Angemessenheit hin zu überprüfen. Indem die Rekurskommission die Kündigung der Universität als unangemessen aufgehoben habe, habe sie unbefugterweise in das Ermessen der Universität eingegriffen.
3.2 Die Rekurskommission der Universität Basel hat als Beschwerdeinstanz im Sinne von § 30 des Universitätsvertrages die Kündigungsverfügung aufgehoben. Sie begründete dies damit, angesichts der gesamten Situation sei die Kündigung als gravierendste aller denkbaren Massnahmen sachlich nicht begründet und unangemessen. Das Appellationsgericht des Kantons Basel-Stadt hat den Rekursentscheid aufgehoben und die Kündigung durch die Universität bestätigt. Es hat namentlich erwogen, aufgrund der Stellung der Rekurskommission sei diese als gerichtliche Instanz zu qualifizieren. Gerichtliche Instanzen seien aber nur befugt, die angefochtene Verfügung auf Sach- und Rechtsfehler, nicht aber auf ihre Angemessenheit hin zu überprüfen. Indem die Rekurskommission die Kündigung der Universität als unangemessen aufgehoben habe, habe sie unbefugterweise in das Ermessen der Universität eingegriffen.
3.3 3.3.1 Wie die Vorinstanz nachvollziehbar ausgeführt hat und vom Beschwerdeführer letztlich auch nicht bestritten wird, ergibt sich aus den interkantonalen gesetzlichen Grundlagen der Rekurskommission der Universität Basel nicht ausdrücklich, ob diese die Verfügungen der Universität auch auf ihre Angemessenheit hin überprüfen darf. Üblicherweise wird aufgrund der hierarchischen Struktur der Verwaltung davon ausgegangen, dass die verwaltungsinterne Beschwerdeinstanz sowohl die Rechtsanwendung als auch die Handhabung des Ermessens voll überprüft, während im Verfahren der Verwaltungsgerichtsbeschwerde die Handhabung des Ermessens durch die Verwaltung in der Regel nicht überprüft wird (Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 6. Aufl. 2010 N. 1930 ff.).
3.3.2 Die Rekurskommission erachtete für die Behandlung der Rekurse das Gesetz betreffend die Organisation des Regierungsrates und der Verwaltung des Kantons Basel-Stadt vom 22. April 1976 (Organisationsgesetz) massgebend und verwies in diesem Zusammenhang auf § 41 Abs. 3 Universitätsgesetz (recte: Universitätsvertrag). Der Rekursgrund der Unangemessenheit gemäss § 45 lit. c Organisationsgesetz ist in verwaltungsinternen Rekursverfahren gegen Verfügungen von Verwaltungseinheiten an die nächsthöhere Behörde zulässig (§ 43 i.V.m. § 41 Abs. 2 Organisationsgesetz), während für Rekurse gegen Verfügungen des Regierungsrates und der vom Grossen Rat oder vom Regierungsrat gewählten Kommissionen an das Verwaltungsgericht - worauf § 41 Abs. 3 Universitätsvertrag verweist - das Gesetz über die Verfassungs- und Verwaltungsrechtspflege anwendbar ist (§ 43 Organisationsgesetz). Gemäss dessen § 8 Abs. 5 entscheidet das Verwaltungsgericht über die Angemessenheit einer Verfügung, wenn diese eine Strafe verhängt oder wenn es dazu durch besondere gesetzliche Vorschrift berufen ist, was vorliegend nicht gegeben ist.
3.3.3 Die Rekurskommission der Universität nimmt eine Zwischenstellung zwischen einer verwaltungsinternen und einer verwaltungsexternen Beschwerdeinstanz ein. Einerseits hat sie ihre Rechtsgrundlage im Universitätsvertrag und ist ausschliesslich für Beschwerden gegen Verfügungen aller inneruniversitären Organe zuständig und werden ihre Mitglieder vom Universitätsrat gewählt. Anderseits steht sie insofern ausserhalb der hierarchischen Verwaltungsstruktur, als ihre Mitglieder nicht der Universität angehören. Ihre personelle Unabhängigkeit von der Universität wird gerade dadurch betont, dass die Leitung einer Gerichtspräsidentin oder einem Gerichtspräsidenten obliegt (§ 30 Universitätsvertrag). Aufgrund dieser gesetzlichen Bestimmungen kann jedenfalls nicht klar auf eine Befugnis der Rekurskommission zur Angemessenheitskontrolle geschlossen werden.
3.3.4 Indessen ist auch mit Blick auf die die Unabhängigkeit betonenden Elemente nicht zwingend nur die Rechtskontrolle zulässig, da aufgrund von gesetzlichen Sonderregelungen auch verwaltungsgerichtlichen Beschwerdeinstanzen die Zuständigkeit zur umfassenden Ermessenskontrolle zustehen kann. So ist vor Bundesverwaltungsgericht - und damit auch im Bereich des Bundespersonalrechts - die Rüge der Unangemessenheit der angefochtenen Verfügung zulässig (Art. 49 lit. c VwVG). Aus Rechtsgleichheitsgründen kommt die gleiche Kognition auch ohne ausdrückliche gesetzliche Grundlage den kantonalen Versicherungsgerichten zu (BGE 137 V 71 E. 5.2). Entgegen den Erwägungen der Vorinstanz kann somit nicht gesagt werden, die Angemessenheitskontrolle sei den Verwaltungsgerichten im Personalrecht generell verwehrt.
3.3.5 Wie es sich diesbezüglich bei der Rekurskommission der Universität Basel verhält, muss, wie die nachstehenden Erwägungen zeigen, mit Blick auf das Erfordernis der zurückhaltenden Ermessenskontrolle von Personalentscheiden (E. 3.4) nicht abschliessend beantwortet werden.
3.4 Nach der Rechtsprechung hat auch eine Rechtsmittelbehörde, der volle Kognition zusteht, in Ermessensfragen einen Entscheidungsspielraum der Verwaltung zu respektieren. Sie hat eine unangemessene Entscheidung zu korrigieren, kann aber der Vorinstanz die Wahl unter mehreren angemessenen Lösungen überlassen (vgl. BGE 127 II 238 E. 3b/aa S. 242; 123 II 210 E. 2c S. 212 f., vgl. Yvo Hangartner, Behördenrechtliche Kognitionsbeschränkungen in der Verwaltungsrechtspflege, in: Mélanges Pierre Moor, Bern 2005, S. 319 ff.). Wenn es um die Beurteilung technischer oder wirtschaftlicher Spezialfragen geht, in denen die Verwaltung über ein besonderes Fachwissen verfügt, kann den Rekursinstanzen zugebilligt werden, nicht ohne Not von der Auffassung der Vorinstanz abzuweichen (BGE 133 II 35 E. 3 S. 39 mit weiteren Hinweisen). Die Beurteilung der Frage, ob ein Angestellter genügende Leistungen erbringt, ist in allererster Linie Sache der unmittelbaren Vorgesetzten (BGE 118 Ib 164 E. 4b S. 166; vgl. auch Urteil 2A.656/2006 vom 15. Oktober 2007 E. 3.4). Die Rechtsmittelbehörden stossen bei der notwendigerweise punktuellen Überprüfung der über eine längere Zeit erbrachten Arbeitsleistungen an ihre Grenzen. Zudem lassen sich die innerbetrieblichen Auswirkungen personalrechtlicher Entscheide durch Aussenstehende oft nur schwer abschätzen (vgl. Benjamin Schindler, Verwaltungsermessen, Habil. Zürich 2010, N. 520). Daher haben auch Rechtsmittelbehörden, welche befugt sind, die Angemessenheit personalrechtlicher Entscheide zu überprüfen, sich diesbezüglich eine gewisse Zurückhaltung aufzuerlegen. Soweit der Gesetzgeber mit einer offenen Normierung der verfügenden Behörde eine zu respektierende Entscheidungsbefugnis einräumen wollte, darf und muss die Rechtsmittelbehörde ihre Kognition entsprechend einschränken (BGE 132 II 257 E. 3.2 S. 262; 127 II 184 E. 5a/aa S. 191; vgl. zur Frage, ob es sich hierbei um ein Recht oder um eine Pflicht der Rechtsmittelbehörde handelt: Hangartner, a.a.O., S. 319 ff., S. 331).
3.5 Dem Appellationsgericht kam die Sachverhalts- und Rechtskontrolle zu; über die Angemessenheit entscheidet es nur, wenn seine Vorinstanz eine Strafe verhängt hat oder es dazu durch besondere gesetzliche Vorschrift berufen ist, was vorliegend nicht gegeben ist (vgl. E. 3.3.2 in fine).
4. 4.1 Gemäss § 9 Abs. 2 der Personalordnung der Universität Basel vom 22. Oktober 1998 kann die Anstellungs- bzw. Ernennungsinstanz das Arbeitsverhältnis nach Ablauf der Probezeit kündigen, wenn wichtige Gründe vorliegen. Wichtige Gründe liegen nach § 9 Abs. 3 lit. b und c Personalordnung unter anderem vor, wenn der Mitarbeiter dauerhaft ungenügende Leistungen erbringt oder eine schwere oder fortgesetzte Pflichtverletzung begangen hat. Eine Kündigung kann in diesen Fällen gemäss § 9 Abs. 4 Personalordnung nur dann erfolgen, wenn vorher mindestens ein Mitarbeitergespräch stattgefunden hat und dem Mitarbeiter eine angemessene Frist zur Verbesserung der Situation eingeräumt worden ist. Vorbehalten bleiben die Fälle einer fristlosen Kündigung. Gemäss Abs. 5 muss im Falle der Kündigung eines Inhabers einer Professur ein Antrag bzw. eine befürwortende Stellungnahme der Fakultät vorliegen.
4.2 Am 24. August 2005 fand ein Mitarbeitergespräch zwischen dem Rektorat der Universität und dem Beschwerdeführer statt. Im Rahmen dieses Gespräches wurde der Beschwerdeführer formell abgemahnt, bis spätestens Ende März 2006 eine Verbesserung in den drei Punkten "Interdisziplinarität der Institute/Zusammenarbeit", "Zusammenarbeit mit der kantonalen Abteilung C._" und "akademische Nachwuchsförderung" herbeizuführen. Wie das kantonale Gericht für das Bundesgericht grundsätzlich verbindlich festgestellt hat, konnte der Beschwerdeführer in der gesetzten Frist lediglich teilweise eine Verbesserung erzielen.
4.3 Der Beschwerdeführer macht geltend, die im Mitarbeitergespräch abgemahnten Punkte gehörten nicht zu seinen arbeitsvertraglichen Pflichten. Weder im Berufungsverfahren noch in den Vertragsverhandlungen sei jemals davon die Rede gewesen, er müsse mit der kantonalen Abteilung C._ zusammenarbeiten. Dem Berufungsbericht vom 12. Februar 1999 ist indessen zu entnehmen, dass die Selektion der in die engere Wahl gezogenen Bewerbungen u.a. unter dem Gesichtspunkt der Bindungen an die Fachrichtung D._ der Region erfolgte und im Rahmen des Berufungsverfahrens mit dem Beschwerdeführer intensive Gespräche über mögliche Zusammenarbeit mit kantonalen Ämtern geführt wurden. Laut § 16 der Ordnung für das Wissenschaftliche Personal der Universität Basel vom 22. März 2007 geniessen die ordentlichen Professoren Freiheit in Forschung und Lehre. Sie nehmen ihre Aufgaben jedoch im Rahmen der universitären Vorgaben in Lehre, Forschung, Dienstleistungen, Nachwuchsförderung und Selbstverwaltung wahr, wobei die Wahrnehmung dieser Aufgaben evaluiert werden kann. Die konkreten Aufgaben und Verantwortungen werden von der Fakultät in Zusammenarbeit mit dem Rektorat in einer Stellenbeschreibung festgelegt. Der Beschwerdeführer legt nicht dar, gegen welche Rechtsnorm die Verpflichtung zur Zusammenarbeit konkret verstossen soll (vgl. E. 2.3).
4.4 Weiter bringt der Beschwerdeführer vor, die Erfüllung der Massnahmen habe nicht nur von ihm selber abgehangen; es sei nicht zulässig, von nicht getreuer Erfüllung seiner Pflichten oder von mangelhafter Leistung zu sprechen, wenn das Erreichen der Massnahme im Belieben der ihm bekanntermassen feindlich gesinnten kantonalen Abteilung C._ gestanden hätte. In der Tat wäre es wünschenswert gewesen, die zu verbessernden Punkte nach dem Mitarbeitergespräch klarer zu formulieren. Die Vorinstanz hat jedoch die Verpflichtung, mit der kantonalen Abteilung C._ zusammenzuarbeiten, (lediglich) dahin gehend aufgefasst, dass er alles zu tun hat, um eine solche zu fördern, und jegliches zu unterlassen hat, welches einer solchen Zusammenarbeit abträglich ist. Wie das kantonale Gericht festgestellt hat, wirkten die vom Beschwerdeführer gewählten Formulierungen im Briefwechsel mit der Abteilung C._ des Kantons Basel-Landschaft nicht nur nicht deeskalierend, sondern geradezu eskalierend. Zu der basel-städtischen Abteilung C._ hat der Beschwerdeführer den Kontakt gemäss den vorinstanzlichen Feststellungen - dem Entscheid der Rekurskommission lässt sich hiezu nichts entnehmen - nicht einmal gesucht.
4.5 Der Beschwerdeführer rügt zudem, die am 24. August 2005 angesetzte Verbesserungszeit bis Ende März 2006 sei zu kurz gewesen, um eine nachhaltige Verbesserung der Situation zu erreichen. Wie es sich damit verhält, kann letztlich offenbleiben, da die Vorinstanz ihren Entscheid nicht mit dem Nichterreichen der Ziele innert dieser Frist begründete, sondern auf den Umstand, dass innert der angesetzten Frist nur ungenügende Fortschritte auf dem Weg zur Erreichung der Ziele erzielt wurden, abstützte.
4.6 Schliesslich beanstandet der Beschwerdeführer, dass die Leistungen eines Universitätsprofessors aufgrund seiner Tätigkeiten im Bereich von Lehre, Forschung und akademischer Selbstverwaltung zu beurteilen seien und die abgemahnten Gesichtspunkte Interdisziplinarität der Institute, Zusammenarbeit mit der kantonalen Abteilung C._ und akademische Nachwuchsförderung für die Leistungsbeurteilung nicht massgeblich seien. Indessen können alle diese Aspekte einem der genannten Teilbereiche zugeordnet werden. Die Gewichtung der Aspekte im gesamten Anforderungsprofil der Professur weist Ermessenszüge auf. Entgegen der Auffassung des Beschwerdeführers erscheinen sie aber nicht unmassgeblich.
4.7 Im Rahmen der gebotenen zurückhaltenden Überprüfung des Ermessens der Beschwerdegegnerin lässt sich damit die Beurteilung, der Beschwerdeführer habe dauernd ungenügende Leistungen erbracht und teilweise fortgesetzt arbeitsvertragliche Pflichten verletzt, nicht beanstanden. Die Vorinstanz hat damit, ohne Bundes- oder interkantonales Recht zu verletzen, im Ergebnis zu Recht entschieden, dass wichtige Gründe für die Kündigung vorlagen. Das Mitarbeitergespräch hatte stattgefunden und eine angemessene Frist zur Verbesserung der Situation war angesetzt worden.
5. 5.1 Nach § 9 Abs. 2 der Personalordnung kann die Anstellungs- bzw. Ernennungsinstanz das Arbeitsverhältnis kündigen, wenn wichtige Gründe vorliegen. Der Urheber dieser Ordnung wollte damit der Ernennungsinstanz eine Entscheidungsbefugnis einräumen, welche von den Rechtsmittelbehörden zu respektieren ist. Ob aufgrund festgestellter Leistungs- bzw. Pflichtverletzungen tatsächlich eine Kündigung auszusprechen ist, ist im Rahmen des Verhältnismässigkeitsgrundsatzes zu beantworten. Dabei darf berücksichtigt werden, dass von einem Inhaber einer ordentlichen Professur nicht bloss eine hohe Qualifikation in der wissenschaftlichen Forschung und Lehre erwartet wird; auch ihre Führungs- und Sozialkompetenzen müssen hohen Anforderungen genügen (vgl. § 9 ff. der Ordnung für das Wissenschaftliche Personal der Universität Basel vom 22. März 2007).
5.2 Die Rekurskommission der Universität Basel hat in ihrem Entscheid vom 12. Juni 2008 erwogen, die - auch von ihr - festgestellten Pflichtverletzungen und Leistungsmängel rechtfertigten nicht, den Beschwerdeführer zu entlassen. Eine Kündigung sei insbesondere deshalb unangemessen, weil (erst nach dem Mitarbeitergespräch vom 24. August 2005 erstellte) Fachgutachten eine Änderung der Organisation empfohlen hätten, in der die Arbeit des Beschwerdeführers besser strukturiert und fokussiert werden könnte. Die Vorinstanz hat zutreffend festgestellt, dass vor einer Kündigung nicht zu prüfen ist, ob durch eine Reorganisation der gesamten Verwaltungseinheit eine für den Angestellten angepasste Stelle geschaffen werden könnte (vgl. E. 3.4). Mit ihr ist festzuhalten, dass die Beschwerdegegnerin nachvollziehbar dargelegt hat, der erfolgreiche Weiterbestand des Seminars und dessen Zusammenarbeit mit anderen Instituten und Fakultäten sowie Stellen ausserhalb der Universität bedinge die Beendigung des Arbeitsverhältnisses mit dem Beschwerdeführer. Dieser weist auf die "an reicher Zahl vorhandenen Gutachten, Berichte und Evaluationen von Fachpersonen" hin, bringt aber nichts vor, was diese Betrachtungsweise ernsthaft in Frage stelle könnte. Bei der gebotenen zurückhaltenden Überprüfung des Ermessens der Universität ist der vorinstanzliche Entscheid auch hinsichtlich der Zulässigkeit der Kündigung nicht zu beanstanden.
6. 6.1 Gemäss den verbindlichen Feststellungen des kantonalen Gerichts war den Angehörigen der Fakultät vor der Fakultätssitzung vom 1. November 2007 das Thema der Sitzung ausreichend bekannt. Der Beschwerdeführer bringt nichts vor, was diese Feststellung als offensichtlich unrichtig erscheinen liesse. Soweit die Traktandenliste als ungenügend betrachtet werden könnte, wäre dieser Mangel durch das tatsächliche Wissen der Fakultätsangehörigen geheilt.
6.2 Wie das kantonale Gericht überzeugend erwogen hat, genügt für eine Zustimmung zu einer Kündigung im Sinne von § 9 Abs. 5 Personalordnung das einfache Mehr der anwesenden stimmberechtigten Personen. Diese relativ geringe Hürde erklärt sich ohne weiteres aus dem Umstand, dass die Fakultät über die ordentliche Kündigung des Professors nicht abschliessend entscheidet, sondern lediglich einen Antrag bzw. eine Empfehlung zuhanden des Rektorats abgibt.
7. Somit ist der die Kündigung der Universität Basel vom 27. November 2007 bestätigende Entscheid des Appellationsgerichts des Kantons Basel-Stadt vom 2. Juni 2010 rechtens; die Beschwerde ist abzuweisen.
8. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Die in ihrem amtlichen Wirkungskreis obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG, Urteil 8C_151/2010 vom 31. August 2010, E. 6.2).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.- werden dem Beschwerdeführer auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Luzern, 2. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Holzer