Sachverhalt:
A. Im Streit um eine Werklohnforderung von Fr. 21'856.20 war A._ (Beschwerdeführer) für die X._ AG (Beschwerdegegnerin) als Anwalt tätig. Dieser stellte er am 1. März 2007 Rechnung für Honorar und Auslagen über Fr. 195'753.70, welche Forderung er in Betreibung setzte. Mit Klage vom 30. Juli 2010 beantragte die Beschwerdegegnerin dem Bezirksgericht Luzern, es sei festzustellen, dass sie dem Beschwerdeführer den Betrag von Fr. 195'753.70 nebst 5 % Zins seit 11. Mai 2007 nicht schulde und dass die Betreibung zu Unrecht erfolgt sei. Der Beschwerdeführer beantragte, auf die Klage nicht einzutreten, eventuell diese abzuweisen. Ferner stellte er diverse Verfahrensanträge und beantragte, dem Kanton Luzern den Streit zu verkünden. Das Bezirksgericht stellte am 6. Mai 2011 fest, dem Beschwerdeführer stehe keine Forderung gegenüber der Beschwerdegegnerin zu und die von diesem eingeleitete Betreibung sei zu Unrecht erfolgt und somit nichtig. Die Prozesskosten auferlegte es dem Beschwerdeführer.
B. Der Beschwerdeführer legte gegen das Urteil des Bezirksgerichts Berufung ein und beantragte dem Obergericht des Kantons Luzern die Aufhebung des angefochtenen Urteils und die Rückweisung der Sache an ein örtlich zuständiges Gericht mit unbefangenen Richtern, die sich noch nicht direkt oder indirekt mit der Frage vorbefasst hätten, ob der Beschwerdeführer oder der Streitberufene für die gesetzwidrige Löschung eines Bauhandwerkerpfandrechts (und Folgeschaden) der Beschwerdegegnerin im Grundbuch Luzern-Stadt hafteten. Darüber hinaus verlangte er, die Klage abzuweisen, eventuell darauf nicht einzutreten und dem Kanton Luzern erneut den Streit zu verkünden. Eventuell habe das Obergericht den Parteien und dem Streitberufenen eine Mediation gemäss Art. 214 Abs. 1 ZPO zu empfehlen, und es sei eine öffentliche mündliche Instruktionsverhandlung vor Obergericht durchzuführen. Die Beschwerdegegnerin schloss auf Abweisung der Berufung, soweit darauf eingetreten werde, und sie verlangte, das erstinstanzliche Urteil betreffend Feststellung der Nichtigkeit der Betreibung sei vorzeitig vollstreckbar zu erklären. Der Kanton Luzern teilte nach erfolgter Streitverkündung mit, er trete dem Prozess nicht als Nebenintervenient bei. Eine Berufungsverhandlung fand nicht statt. Am 30. Januar 2012 entschied das Obergericht gleich wie das Bezirksgericht.
C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht im Wesentlichen, die beiden kantonalen Entscheide aufzuheben und die Sache zur Neubeurteilung (zwecks Ergänzung des Sachverhalts und zur Durchführung von öffentlichen Verhandlungen) an ein zuständiges, mit unbefangenen Richtern besetztes Gericht zurückzuweisen. Eventuell sei die Klage direkt durch das Bundesgericht abzuweisen oder nicht darauf einzutreten unter Festsetzung und Verlegung der erst- und zweitinstanzlichen Prozesskosten. Ferner stellt der Beschwerdeführer diverse Verfahrensanträge. Er verlangt namentlich, die Beschwerde dem Bundesamt für Justiz zur Vernehmlassung zu unterbreiten zu Fragen zum SchKG, soweit sich diese stellen, und er ist der Auffassung, über gewisse Fragen habe ein Meinungsaustausch mit den anderen betroffenen Abteilungen des Bundesgerichts stattzufinden (Art. 23 Abs. 2 BGG). Sodann ersucht er um Gewährung der aufschiebenden Wirkung. Als vorsorgliche Massnahmen beantragt er, das zuständige Betreibungsamt anzuweisen, die von ihm eingeleitete Betreibung nicht zu löschen und die Aufsichtsbehörde über Anwälte des Kantons Luzern anzuweisen, das gegen ihn laufende Disziplinarverfahren AR_ ("Unsorgfalt BGFA 12a wegen angeblich nichtiger Betreibungen gegen X._ AG") zu sistieren. Vernehmlassungen wurden nicht eingeholt.
Erwägungen:
1. Mit dem Entscheid in der Sache werden die Gesuche um aufschiebende Wirkung und den Erlass vorsorglicher Massnahmen gegenstandslos. Die Zustimmung anderer von einer Rechtsfrage betroffener Abteilungen des Bundesgerichts ist nur einzuholen, wenn dies für die Rechtsfortbildung oder die Einheit der Rechtsprechung angezeigt erscheint (Art. 23 Abs. 2 BGG). Dies ist, wie zu zeigen sein wird, aufgrund der zu behandelnden Rechtsfragen nicht der Fall, und auch die Einholung einer Vernehmlassung zu SchKG-Fragen erübrigt sich.
2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; 133 II 249 E. 1.4.1 S. 254 mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
2.1 Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, ist zu beachten, dass Willkür nach ständiger Rechtsprechung nicht schon dann vorliegt, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgrundsatz zuwiderläuft. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 135 V 2 E. 1.3 S. 4 f.; 134 II 124 E. 4.1 S. 133; je mit Hinweisen). Daher genügt es nicht, wenn der Beschwerdeführer einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern dieser offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5 S. 5).
2.2 Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 116 II 745 E. 3 S. 749). Die Begründung hat in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f. mit Hinweisen).
2.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Wer sich auf eine Ausnahme von der Bindung des Bundesgerichts an die tatsächlichen Feststellungen der Vorinstanz beruft und den Sachverhalt gestützt darauf berichtigt oder ergänzt wissen will, hat mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat (Botschaft zur Totalrevision der Bundesrechtspflege, BBl 2001 4339 Ziff. 4.1.4.3 zu Art. 93 E-BGG; vgl. auch BGE 115 II 484 E. 2a S. 485 f.). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die den dargelegten Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398).
3. Der Beschwerdeführer macht geltend, alle drei mit der Sache befassten Oberrichter, Obergerichtspräsident Kurt Bösch sowie die Oberrichter Scherer und Schumacher seien zufolge Vorbefassung mit der Angelegenheit bei der Fällung des Entscheids vom 30. Januar 2012 befangen gewesen und hätten sich schon eindeutig gegen den Beschwerdeführer festgelegt. Gewisse Richter hätten sich mit dem zu beurteilenden Fall noch im Rahmen eines Disziplinarverfahrens auseinanderzusetzen oder sich mit demselben Fall später nachzubefassen, wobei sie sich und dem Streitberufenen mit dem angefochtenen Urteil eine günstige Ausgangslage hätten verschaffen können. Da keine Berufungsverhandlung stattgefunden habe, sei ihm erst mit Zustellung des Obergerichtsurteils bekannt geworden, welche Richter daran mitgewirkt hatten. Er sei daher nach Art. 99 Abs. 1 BGG berechtigt, sich auf die Vorbefassung im Sinne einer neuen Tatsache zu berufen.
3.1 Nach Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch darauf, dass ihre Streitsache von einem unbefangenen, unvoreingenommenen und unparteiischen Gericht beurteilt wird. Art. 30 Abs. 1 BV soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Er soll garantieren, dass keine sachfremden Umstände, welche ausserhalb des Prozesses liegen, in sachwidriger Weise zugunsten oder zulasten einer Partei auf das gerichtliche Urteil einwirken. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Voreingenommenheit und Befangenheit in diesem Sinne werden nach der Rechtsprechung angenommen, wenn sich im Einzelfall anhand aller tatsächlichen und verfahrensrechtlichen Umstände Gegebenheiten ergeben, die geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Dabei kommt es nicht auf das subjektive Empfinden einer Partei an. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (BGE 136 I 207 E. 3.1 S. 210 mit Hinweisen).
3.2 Der Anschein der Befangenheit kann durch unterschiedlichste Umstände und Gegebenheiten erweckt werden.
3.2.1 Dazu zählen vor oder während eines Prozesses abgegebene Äusserungen eines Richters, die den Schluss zulassen, dass sich dieser bereits eine feste Meinung über den Ausgang des Verfahrens gebildet hat (BGE 134 I 238 E. 2.1 S. 240 mit Hinweisen). Dem Richter kann jedoch nicht verwehrt sein, sich aufgrund der Akten eine vorläufige Meinung zu bilden, solange er innerlich frei ist, aufgrund der in der Verhandlung vorgetragenen Argumente zu einem anderen Ergebnis zu gelangen. Die Garantie der Unvoreingenommenheit ist indessen verletzt, wenn der Richter durch eine Äusserung den Anschein erweckt, er habe sich bereits so festgelegt, dass daran die Argumente der Parteien nichts mehr zu ändern vermöchten (vgl. Urteil des Bundesgerichts 1P.687/2005 vom 9. Januar 2006 E. 7.1, in: Pra 96/2007 Nr. 26 S. 161).
3.2.2 Richterliche Verfahrens- oder Einschätzungsfehler wie ein inhaltlich falscher Entscheid in der Sache oder Fehler in der Verhandlungsführung genügen dagegen in der Regel nicht, um Voreingenommenheit zu begründen (REGINA KIENER, Richterliche Unabhängigkeit: verfassungsrechtliche Anforderungen an Richter und Gerichte, Bern 2001, S. 105 f.). Nach der bundesgerichtlichen Rechtsprechung können derartige Fehler nur ausnahmsweise die Unbefangenheit einer Gerichtsperson in Frage stellen. Dabei müssen objektiv gerechtfertigte Gründe zur Annahme bestehen, dass sich in Rechtsfehlern gleichzeitig eine Haltung manifestiert, die auf fehlender Distanz und Neutralität beruht. Es muss sich um besonders krasse Fehler oder wiederholte Irrtümer handeln, die eine schwere Verletzung der Richterpflichten darstellen (BGE 116 Ia 135 E. 3a S. 138; 115 Ia 400 E. 3b S. 404; 114 Ia 153 E. 3b/bb S. 158 f.).
3.3 Wird die Befangenheit erstmals vor Bundesgericht thematisiert, weil erst der angefochtene Entscheid dazu Anlass gibt (Art. 99 Abs. 2 BGG), genügt es nicht, Vorwürfe gegen die abgelehnten Richter zu erheben und deren Befangenheit zu behaupten. Die Gründe, aus denen die Befangenheit abgeleitet wird, sind vielmehr im Einzelnen darzulegen und unter Angaben von Beweismitteln, die unter den gleichen Voraussetzungen wie neue Behauptungen zulässig sind (Art. 99 Abs. 2 BGG), nachzuweisen.
3.4 Zur Begründung der Befangenheit von Obergerichtspräsident Kurt Bösch stützt sich der Beschwerdeführer auf drei Gründe.
3.4.1 Kurt Bösch sei als Präsident der Verwaltungskommission auf eine formlose Aufsichtsanzeige gegen den Bezirksgerichtspräsidenten Kurt Weingand nicht eingetreten und habe "das ZGB 976 verletzende Wirken von Bezirksgerichtspräsident Kurt Weingand" weiterhin gutgeheissen, "womit umgekehrt automatisch auch Schadenersatzansprüche (wegen gesetzwidriger Löschung eines Grundbucheintrags) der geschädigten A._ und X._ AG abgewiesen" worden seien, anstatt dass Oberrichter Bösch schon damals seiner Schadenminderungspflicht nachgekommen wäre.
Dass der Obergerichtspräsident der Anzeige keine Folge gab, genügt bei objektiver Betrachtung nicht, um den Anschein der Befangenheit zu erwecken, zumal der Beschwerde nicht einmal zu entnehmen ist, weshalb der Nichteintretensentscheid falsch gewesen sein soll. Die blosse Behauptung einer gesetzwidrigen Löschung eines Grundbucheintrags durch Bezirksgerichtspräsident Kurt Weingand reicht dazu nicht aus. Soweit der Beschwerdeführer daraus etwas zu seinen Gunsten ableiten wollte, müsste er vor Bundesgericht nicht nur behaupten sondern mit Beweismitteln nachweisen, dass die Löschung zu Unrecht erfolgte und sämtliche Voraussetzungen für ein Eintreten auf die Anzeige gegeben waren. Sodann müsste er darlegen, inwiefern objektiv Gründe zur Annahme bestehen, in dem als rechtsfehlerhaft ausgegebenen Nichteintretensentscheid manifestiere sich gleichzeitig eine Haltung, die auf fehlender Distanz und Neutralität beruht. Diesen Anforderungen genügt die Beschwerde nicht.
3.4.2 Der Beschwerdeführer weist sodann darauf hin, Obergerichtspräsident Kurt Bösch werde für die Beurteilung seiner Schadenersatzforderung aus Art. 955 ZGB gegen den Kanton Luzern zuständig sein und auf das angefochtene Urteil verweisen können.
Der Beschwerdeführer zeigt nicht hinreichend auf, inwieweit die Tatsache, dass Kurt Bösch in Zukunft mit diesem Verfahren betraut sein könnte, objektiv geeignet ist, seine Unabhängigkeit in Frage zu stellen. Ob der Richter wegen des jetzt angefochtenen Urteils zufolge Vorbefassung mit Bezug auf Schadenersatzansprüche gegen den Kanton befangen ist, wäre im Verfahren über die Schadenersatzansprüche zu thematisieren. Ein allfälliges Eigeninteresse des Richters am Ausgang des zukünftigen Verfahrens hätte der Beschwerdeführer im Einzelnen nachweisen müssen. Der blosse Hinweis auf die Staatshaftung und eine allfällige Rückgriffsgefahr reichen dazu nicht aus.
3.4.3 Schliesslich weist der Beschwerdeführer darauf hin, Oberrichter Kurt Bösch habe als Mitglied der 2. Abteilung des Obergerichts am Entscheid über die "Betreibungssache" des Beschwerdeführers gegen den Kanton Luzern vom 27. Juli 2011 mitgewirkt, obwohl ihm dies als Justizorgan, das beim Betriebenen angestellt gewesen sei, nach Art. 10 Abs. 1 Ziff. 3 und 4 SchKG ausdrücklich verboten gewesen wäre.
Dies müsste der Beschwerdeführer primär im betreffenden Verfahren rügen. Selbst eine unzulässige Mitwirkung lässt in einem anderen Verfahren nicht ohne Weiteres auf Befangenheit schliessen.
3.5 Die Befangenheit von Oberrichter Urs Scherer scheint der Beschwerdeführer daraus abzuleiten, dass dieser an einem aus seiner Sicht willkürlichen Entscheid mitgewirkt hat. Ausserdem befürchtet er Befangenheit wegen des gegen diesen Richter geäusserten Verdachts auf Amtsmissbrauch.
Damit lässt sich offensichtlich keine Befangenheit begründen. Zur Korrektur eines Fehlentscheides stehen Rechtsmittel zur Verfügung, und es kann nicht den Rechtsunterworfenen anheim gestellt bleiben, durch Strafanzeigen gegen Gerichtspersonen deren Befangenheit zu bewirken (vgl. dazu Urteil des Bundesgerichts 1B_365/2009 vom 22. März 2010 E. 3.3).
3.6 Soweit der Beschwerdeführer gegenüber Oberrichter Peter Schumacher dieselben Befangenheitsgründe anführt, die er gegenüber Oberrichter Bösch und Scherer vorgebracht hat, kann auf das mit Bezug auf diese Gerichtspersonen Gesagte verwiesen werden. Schliesslich wäre selbst dann nicht ohne Weiteres auf Befangenheit zu erkennen, wenn sich das angefochtene Urteil als willkürbehaftet erwiese, wie der Beschwerdeführer meint.
3.7 Die Ausstandsbegehren erweisen sich insgesamt als unbegründet. Ob nicht ohnehin Verwirkung des Anspruchs auf Anrufung der Garantie des unabhängigen Richters angenommen werden muss, weil dem Beschwerdeführer zuzumuten gewesen wäre, sich über die Zusammensetzung des Spruchkörpers kundig zu machen oder zumindest in der Berufungsschrift anzukündigen, welche Oberrichter er abzulehnen gedachte (BGE 134 I 20 E. 4.3.1 S. 21 f.; vgl. insbesondere Urteil des Bundesgerichts 1P.346/2000 E. 3c vom 17. August 2000), kann daher offen bleiben.
4. Auch mit Bezug auf das Verfahren vor Bezirksgericht rügt der Beschwerdeführer formelle Mängel und eine Verletzung seines Anspruchs auf ein faires Verfahren. Er bringt vor, anlässlich der Instruktionsverhandlung habe ihn der Instruktionsrichter im Glauben gelassen, seine Ansprüche seien (zumindest teilweise) hinreichend substanziiert. Im Urteil des Bezirksgerichts würden dagegen alle Ansprüche als unsubstanziiert bezeichnet. Der Beschwerdeführer ist der Auffassung, der Instruktionsrichter hätte ihn von seinem Meinungsumschwung vorgängig informieren müssen, damit er ein Ausstandsgesuch hätte stellen können. Er sieht seinen Anspruch auf rechtliches Gehör sowie den Grundsatz des Handelns nach Treu und Glauben verletzt. Zudem ist er der Auffassung, die von ihm zum Verlauf der Instruktionsverhandlung beantragten Beweismittel hätten abgenommen werden müssen.
4.1 Die Vorinstanz hielt die im Zusammenhang mit der Durchführung der Instruktionsverhandlung erhobenen Rügen der Verletzung des Gehörsanspruchs und des Gebots des Handelns nach Treu und Glauben durch den Instruktionsrichter für unbegründet. Der Beschwerdeführer kritisiert die Durchführung der Instruktionsverhandlung unter diversen Gesichtspunkten, unterlässt es jedoch, sich mit der diesbezüglichen Erwägung der Vorinstanz auseinanderzusetzen und aufzuzeigen, inwiefern darin eine willkürliche Anwendung der einschlägigen Normen des damals geltenden Zivilprozessrechts liegen soll. Vielmehr unterbreitet er dem Bundesgericht seine eigene Sicht der Dinge und wird den Begründungsanforderungen nicht gerecht.
4.2 Die Auffassung des Beschwerdeführers, er habe Anspruch auf vorgängige Mitteilung, sofern der Instruktionsrichter seine anlässlich der Vergleichsverhandlung geäusserte Meinung ändert, überzeugt nicht. Aus welchen Regeln des Prozessrechts er folgert, entgegen der Auffassung der Vorinstanz sei der Instruktionsrichter an seine einstweilige Einschätzungen der Beweis- und Rechtslage gebunden, legt der Beschwerdeführer nicht dar. Willkür oder eine Gehörsverletzung ist mithin nicht ersichtlich. Solange das Gericht einen Punkt nicht abschliessend beurteilt hat, kann der Rechtsuchende nicht darauf vertrauen, es werde von einer vorläufigen Einschätzung nicht mehr abweichen. Wenn der Instruktionsrichter seine Einschätzung im Verlaufe des Verfahrens ändert, handelt er nicht wider Treu und Glauben, da er kein berechtigtes Vertrauen der Parteien enttäuscht. Ein derartiger Meinungswechsel lässt objektiv nicht auf Befangenheit schliessen. Somit erübrigt sich die Einvernahme des vom Beschwerdeführer für den Meinungsumschwung des Instruktionsrichters angerufenen Zeugen und geht die diesbezügliche Rüge einer Verletzung des rechtlichen Gehörs ins Leere. Damit stellt sich die Frage, ob sich der Beschwerdeführer auf Ausstandsgründe, die ihm bereits vor erster Instanz bekannt waren, erstmals vor Obergericht berufen darf, soweit diese zwar nicht einzeln, sondern erst zusammen mit später entdeckten auf Befangenheit schliessen lassen, nicht.
4.3 Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf ein faires Verfahren vor Bezirksgericht, da der Instruktionsrichter die Aufsichtbehörde informiert habe, obwohl er aus den Akten hätte entnehmen können, dass dieselbe Anzeige zuvor schon von der Beschwerdegegnerin eingereicht und von der Aufsichtsbehörde rechtskräftig abgewiesen worden war. Dass der Instruktionsrichter sich dieser Anzeige tatsächlich bewusst war, ist im angefochtenen Urteil indessen nicht festgestellt, und der Beschwerdeführer erhebt diesbezüglich keine hinreichend begründete Sachverhaltsrüge. Damit ist auch auf diese Rüge nicht einzutreten. Mit dem Vorwurf, der Instruktionsrichter habe die ungültige Klage der Beschwerdegegnerin durch Ausüben der Fragepflicht nach § 59 des Gesetzes über die Zivilprozessordnung vom 27. Juni 1994 (aZPO/LU) in eine Klage umgewandelt, wonach die Beschwerdegegnerin dem Beschwerdeführer gar nichts mehr schulde, vermag der Beschwerdeführer keine Verletzung des Anspruchs auf ein faires Verfahren aufzuzeigen. Dass einer Partei die Gelegenheit zur Klärung unklarer Vorbringen eingeräumt wird, wirkt sich zwar zu deren Gunsten aus, führt aber nicht zu einem unfairen Verfahren, denn die Fragepflicht besteht gegenüber beiden Prozessparteien in gleicher Weise. Eine willkürliche Anwendung des kantonalen Prozessrechts zeigen die Rügen des Beschwerdeführers nicht rechtsgenüglich auf.
4.4 Der Beschwerdeführer ist der Auffassung, im erstinstanzlichen Verfahren hätte eine vollständige Instruktionsverhandlung nachgeholt und eine Hauptverhandlung abgehalten werden müssen und im Rechtsmittelverfahren eine Berufungsverhandlung.
4.4.1 Nach dem angefochtenen Urteil wurden die Parteien vor Bezirksgericht mit Verfügung vom 16. Februar 2011 aufgefordert, eine Hauptverhandlung zu verlangen, ansonsten Verzicht angenommen würde. Die Parteien hätten in der Folge keine Hauptverhandlung verlangt, sondern Stellungnahmen zum Beweisergebnis und Kostennoten eingereicht. Das Bezirksgericht habe daher gemäss § 212 Abs. 2 aZPO/LU von der Durchführung einer Hauptverhandlung absehen können. Dass der Beschwerdeführer eine weitere Instruktionsverhandlung wünschte, habe das Bezirksgericht nicht zur Ansetzung einer Hauptverhandlung verpflichtet. Ein Rechtsanspruch auf Durchführung bzw. Wiederholung einer Instruktionsverhandlung bestehe nicht.
4.4.2 Inwiefern es eine willkürliche Anwendung von § 212 aZPO/LU bedeuten soll, aus dem nicht fristgemäss gestellten Begehren um Ansetzung einer Hauptverhandlung androhungsgemäss auf einen Verzicht zu schliessen, geht aus der Beschwerde nicht rechtsgenüglich hervor. Soweit der Beschwerdeführer Vorbringen aus kantonalen Eingaben berücksichtigt wissen will, genügt es nicht, auf diese zu verweisen. Ein Aktenhinweis erfüllt seinen Zweck nur, wenn er präzis angibt, wo sich die behaupteten Vorbringen befinden. Diesen Anforderungen genügt die Beschwerdeschrift nicht. Dass eine Hauptverhandlung objektiv geboten gewesen wäre, lässt sich auch nicht aus den Meinungsäusserungen des Instruktionsrichters anlässlich der Vergleichsgespräche ableiten. Da der Beschwerdeführer aus der angeblich fehlenden Haupt- und Instruktionsverhandlung vor erster Instanz darauf schliesst, das Obergericht hätte eine Berufungsverhandlung durchführen müssen, entbehrt auch die Rüge der Verletzung von Art. 316 ZPO und des rechtlichen Gehörs wegen unterlassener Berufungsverhandlung der Grundlage. Soweit der Beschwerdeführer mit Blick auf die Anwendung kantonalen Prozessrechts vor erster Instanz und der eidgenössischen ZPO im Rechtsmittelverfahren beanstandet, mindestens eine mündliche Verhandlung müsse garantiert sein, verkennt er, dass die Vorinstanz von einem Verzicht der Parteien vor erster Instanz ausgegangen ist. Unter dieser Voraussetzung ist keine Rechtsverletzung dargetan.
4.5 Auch mit dem Argument, da vor Bezirksgericht keine mündliche Verhandlung stattgefunden habe, sei nicht garantiert, dass sich überhaupt sämtliche am Entscheid beteiligten Richterinnen und Richter mit dem Fall auseinandergesetzt hätten, lässt sich keine Verfassungsverletzung aufzeigen. Der Beschwerdeführer bringt keine hinreichenden Indizien vor, die objektiv darauf schliessen liessen, das Bezirksgericht hätte den zu beurteilenden Fall nicht mit der nötigen Sorgfalt behandelt. Selbst wenn der Entscheid, wie der Beschwerdeführer behauptet, objektiv falsch wäre, liesse sich daraus allein nicht auf eine mangelhafte Kenntnis des Dossiers schliessen.
5. Der Beschwerdeführer macht geltend, aus dem angefochtenen Entscheid ergebe sich nicht, nach welchen Gesetzesbestimmungen die Vorinstanz die Zulässigkeit der Feststellungsbegehren beurteilt habe (nach § 93 aZPO/LU, Art. 88 ZPO oder allenfalls Art. 85a SchKG, wobei die Vorinstanz Art. 85a SchKG gegebenenfalls nicht korrekt angewendet hätte).
5.1 Aus dem angefochtenen Urteil geht angesichts der Hinweise auf BGE 128 III 334 und 120 II 20 mit hinlänglicher Klarheit hervor, dass die Vorinstanz die Klage nicht als eine solche gemäss Art. 85a SchKG betrachtete, sondern als allgemeine bundesrechtliche negative Feststellungsklage mit dem Ziel, das Nichtbestehen der in Betreibung gesetzten Forderung in einem der materiellen Rechtskraft zugänglichen Urteil feststellen zu lassen (vgl. auch BGE 135 III 378 E. 2.2 S. 379 f. mit Hinweisen). Das erstinstanzliche Gericht hat denn auch das Feststellungsinteresse der Beschwerdegegnerin geprüft und für gegeben betrachtet, was die Vorinstanz nicht beanstandet hat. Die Rüge fällt somit ins Leere. Für das Verfahren vor erster Instanz und damit auch für die Zulässigkeit der gestellten Begehren kam die Schweizerische Zivilprozessordnung noch nicht zur Anwendung. Art. 88 ZPO kommt insoweit keine Bedeutung zu. Unter welchen Voraussetzungen die gerichtliche Feststellung des Bestehens oder Nichtbestehens bundesrechtlicher Ansprüche verlangt werden konnte, war von der Vorinstanz nach materiellem Bundesrecht zu beurteilen (BGE 135 III 378 E. 2.2 S. 379 f. mit Hinweisen). Damit gehen die Ausführungen zu den Voraussetzungen einer Feststellungsklage nach dem kantonalen Prozessrecht an der Sache vorbei.
5.2 Der Beschwerdeführer bestreitet auch für den Fall des Vorliegens einer allgemeinen negativen Feststellungsklage die Zuständigkeit des angerufenen Bezirksgerichts. Er macht im Wesentlichen geltend, es sei keine Gerichtsstandsvereinbarung nach dem damals anwendbaren Art. 9 aGestG zustande gekommen. Eine solche ergibt sich nach den Urteilen der kantonalen Gerichte aus der vom Beschwerdeführer der Beschwerdegegnerin zur Unterschrift vorgelegten und von dieser unterzeichneten Vollmachtsurkunde vom 14. Oktober 2004, nach welcher für die Erledigung von Streitigkeiten aus dem Auftragsverhältnis, auf welches der Beschwerdeführer die in Betreibung gesetzte Forderung stützt, die Gerichte am Geschäftssitz des Beschwerdeführers zuständig sind. Nach Auffassung der Vorinstanz ist die Berufung des Beschwerdeführers auf die aus dem Fehlen seiner eigenen Unterschrift abgeleitete Formungültigkeit der Gerichtsstandsklausel rechtsmissbräuchlich, da ein allfälliger Formmangel durch den Beschwerdeführer herbeigeführt, zumindest bewusst in Kauf genommen worden ist. Dem ist beizupflichten. Wenn Klienten einen Anwalt als rechtskundigen Berater hinzuziehen, dürfen sie darauf vertrauen, dass die von ihm vorgeschlagene Gerichtsstandvereinbarung die Formerfordernisse erfüllt, und ihn darauf behaften. Die Frage, ob diese tatsächlich erfüllt sind, kann daher offen bleiben.
6. Die Vorinstanz erachtete die vom Beschwerdeführer geltend gemachte Forderung als nicht hinreichend substanziiert und hiess daher die negative Feststellungsklage gut. Der Beschwerdeführer ist der Auffassung, zur Abweisung der negativen Feststellungsklage genüge es bereits, dass eine Minimalforderung zu seinen Gunsten bestehe. Dabei verkennt er, dass das Gericht die negative Feststellungsklage auch teilweise gutheissen kann und eine Klageabweisung substanziierte Behauptungen des beklagten Gläubigers voraussetzt, damit über den von ihm geltend gemachten Anspruch Beweis geführt werden kann. Dazu genüg es nicht, darzulegen, dass bestimmte Teilposten der in Rechnung gestellten Gesamtforderung wie Gerichtskosten tatsächlich angefallen sind. Zur Substanziierung gehört angesichts der grundsätzlichen Bestreitung der Beschwerdegegnerin auch die Frage, inwiefern ihr die Kosten weiterbelastet werden dürfen.
6.1 Zur Forderung über Fr. 45'065.60 für "Bemühungen ab 29.12.2004 in Zusammenhang mit gesetzwidriger Löschung auf GB Luzern r.U. Nr. sss._" stellte die Vorinstanz fest, die Beschwerdegegnerin habe auch diese Forderung klar bestritten und auf krasse Mängel hingewiesen. Aus der stichwortartigen Auflistung in der Rechnung gehe nicht hervor, welche Arbeiten für die korrekte Erfüllung des erteilten Auftrages notwendig und zweckmässig gewesen seien und wie sich der stundenmässige Gesamtaufwand im Einzelnen zusammengesetzt habe. Dass nicht alle Arbeiten notwendig und zweckmässig gewesen seien, ergebe sich zum Beispiel aus dem Urteil des Bundesgerichts 5A.15/2005 vom 24. Mai 2005 (Revisionsverfahren). An der ungenügenden Substanziierung ändere auch nichts, dass die Beschwerdegegnerin von der Haftpflichtversicherung einen Betrag in gleicher Höhe als Schadenersatz erhalten habe. Die Versicherungsleistung impliziere nicht ohne Weiteres, dass die Beschwerdegegnerin ein Honorar in dieser Höhe anerkannt habe und dem Beschwerdeführer schulde. Die Zahlung der Versicherung sei auch nicht mit einer Verwendungsauflage verbunden. Die (allfällige) Forderung des Beschwerdeführers richte sich nach dem Vertragsverhältnis zwischen ihm und der Beschwerdegegnerin und nicht nach dem Versicherungsvertrag.
6.1.1 Der Beschwerdeführer beanstandet als unvollständige Sachverhaltsfeststellung und Gehörsverletzung sowie als Verstoss gegen Art. 112 Abs. 1 lit. b BGG, dass sich das Obergericht nicht mit der Schadensmeldung der Beschwerdegegnerin an die Versicherung T._, die Berufshaftpflichtversicherung des Beschwerdeführers, vom 14. Oktober 2005 befasst habe. Daraus ergebe sich, dass die Beschwerdegegnerin sich selbst auf die Richtigkeit dieser Rechnung berufen habe.
6.1.2 Aus der wiedergegebenen Erwägung der Vorinstanz geht klar hervor, dass diese die Zahlung der Versicherungsleistung an die Beschwerdegegnerin in der Höhe der vom Beschwerdeführer gestellten Rechnung nicht übersah. Entgegen der Auffassung des Beschwerdeführers ist in der betreffenden Schadensmeldung keine Anerkennung der Richtigkeit dieser Rechnung zu erblicken, zumal die Beschwerdegegnerin darin erklärte, den Beschwerdeführer für den Schaden von Fr. 45'065.-- für Anwalts- und Gerichtskosten im Zeitraum vom 20. Oktober 2004 bis 29. Juni 2005 haftbar zu machen, der ihr durch unsorgfältige Ausführung eines Anwaltsmandats entstanden sei. Damit tat sie klar ihre Auffassung kund, diesen Betrag nicht zu schulden und berief sich entgegen der Meinung des Beschwerdeführers keineswegs auf die Richtigkeit dieser Rechnung. Damit ist dem im Wesentlichen auf der behaupteten Anerkennung der Rechnung durch die Beschwerdegegnerin beruhenden Einwand des Beschwerdeführers, die Vorinstanz habe zu Unrecht mangelnde Substanziierung der betreffenden Rechnung angenommen, der Boden entzogen. Inwiefern sich aus der zwischen der Versicherung und der Beschwerdegegnerin abgeschlossenen Entschädigungsvereinbarung entgegen der Annahme der Vorinstanz etwas anderes, namentlich eine Schadenersatzpflicht ihm gegenüber zufolge Verletzung der erwähnten Entschädigungsvereinbarung, ergeben soll, zeigt der Beschwerdeführer nicht rechtsgenügend auf. Läge der Sinn der Entschädigungsvereinbarung darin, die Tilgung der in der Schadensmeldung genannten Forderung des Beschwerdeführers zu gewährleisten, wäre nicht nachvollziehbar, weshalb die Versicherung eine gemäss Behauptung des Beschwerdeführers zweckgebundene Auszahlung an die Beschwerdegegnerin vornehmen sollte, statt das Geld direkt an den Beschwerdeführer zu überweisen. Ging die Versicherung dagegen fälschlicherweise davon aus, die Beschwerdegegnerin habe die Rechnung schon beglichen oder müsse die Rechnung in naher Zukunft begleichen, stellt sich allenfalls die Frage, ob die Vereinbarung wegen Willensmängeln hätte angefochten werden können. Es hat nicht zur Folge, dass der Beschwerdeführer die Tilgung seiner Forderung verlangen kann, wenn sich diese im Prozess als nicht berechtigt erweist.
6.1.3 Der Beschwerdeführer ist, wie die Vorinstanz zutreffend erkannte, auch nicht zum Vorwurf des Rechtsmissbrauchs gegenüber der Beschwerdegegnerin berechtigt mit der Begründung, diese habe an ihrem im Rahmen von Vergleichsgesprächen erfolgten Angebot, einen Teil des von der Versicherung empfangenen Betrages an den Beschwerdeführer weiterzuleiten, nicht mehr festgehalten. Dies ist der Beschwerdegegnerin nicht zu verdenken, musste sie doch unter diesen Umständen den Rechtsstreit über den Bestand der von ihr als unberechtigt eingeschätzten weiteren Honorarforderung von rund Fr. 150'000.-- voraussichtlich bis zu dessen Ende austragen. Auch insoweit ist der Kritik des Beschwerdeführers am angefochtenen Urteil unbegründet. Sollte die Beschwerdegegnerin durch die Zahlung der Versicherung im Ergebnis überentschädigt sein, stellt sich höchstens die Frage nach allfälligen Ansprüchen der Versicherung gegen die Beschwerdegegnerin. Der Beschwerdeführer könnte aus einer allfälligen Überentschädigung nichts zu seinen Gunsten ableiten.
6.2 Der Beschwerdeführer beanstandet als Verletzung von Art. 402 OR, als aktenwidrigen Vorwurf der Nichtsubstanziierung und als Gehörsverletzung, dass die im Recht liegende Rechnung vom 29. Juni 2005 über Auslagen von insgesamt Fr. 7'902.-- betreffend seine Tätigkeit in der Zeit vom 14. Oktober 2004 bis 29. Juni 2005 von der Vorinstanz nicht berücksichtigt wurde. Indessen ist der Beschwerde auch nicht ansatzweise zu entnehmen, inwiefern der Beschwerdeführer nachvollziehbar dargelegt hätte, dass er die Auslagen in richtiger Ausführung des Auftrags gemacht hat (Art. 402 Abs. 1 OR), was ihm zufolge der Bestreitung der Beschwerdegegnerin oblag, welche ihm eigenmächtiges Vorgehen, unzureichende Information und Nichterfüllung des Auftrags vorgeworfen hatte. Dass die Auslagen als solche nicht bestritten wurden, genügt bei dieser Sachlage nicht, um die Ersatzpflicht des Auftraggebers zu begründen.
6.3 Der Beschwerdeführer beanstandet, das Obergericht habe mangelnde Substanziierung seiner Honorarforderung angenommen, ohne sich mit seiner Substanziierung und Begründung seiner Tätigkeit auf S. 23 - 26 der Klageantwort zu befassen, was das rechtliche Gehör verletze.
6.3.1 Der Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verlangt insbesondere, dass die Gerichte die rechtserheblichen Vorbringen der Parteien anhören und bei der Entscheidfindung berücksichtigen. Damit sich die Parteien ein Bild über die Erwägungen des Gerichts machen können, ist sein Entscheid zu begründen. Die Begründung muss kurz die Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt. Nicht erforderlich ist hingegen, dass sich der Entscheid mit allen Parteistandpunkten einlässlich auseinander setzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Es genügt, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (BGE 134 I 83 E. 4.1 S. 88; 133 III 439 E. 3.3 S. 445; je mit Hinweisen).
6.3.2 Inwiefern die Vorinstanz mit Blick auf die angegebene Stelle der Klageantwort ihre Annahme mangelnder Substanziierung der Honorarforderung näher hätte begründen müssen, legt der Beschwerdeführer nicht hinreichend dar. Der blosse Verweis auf die Akten genügt nicht. Im Übrigen erklärt der Beschwerdeführer am angeführten Ort sein Weiterwirken trotz Mandatsentzugs im Wesentlichen unter Hinweis auf die Schadenminderungspflicht und die Geschäftsführung ohne Auftrag. Die Vorinstanz stellte für das Bundesgericht indessen verbindlich fest, mit Schreiben vom 10. September 2005 und vom 6. Februar 2006 habe die Beschwerdegegnerin den Beschwerdeführer klar angewiesen, in der Angelegenheit keine weiteren Schritte zu unternehmen. Darin erblickte die Vorinstanz ein verbindliches Einmischungsverbot des Geschäftsherrn, das einen Anspruch aus Geschäftsführung ohne Auftrag ausschliesse. Darauf geht der Beschwerdeführer nicht rechtsgenügend ein. Der von ihm wiedergegebenen Anweisung der Beschwerdegegnerin, keine Rechtsmittel in deren Namen einzulegen, musste er nach Treu und Glauben entnehmen, dass insoweit kein Auftrag bestand und dass die Beschwerdegegnerin ein entsprechendes Handeln für diese explizit untersagte. Wurde er dennoch tätig, kann er dafür die Beschwerdegegnerin unter keinem Titel belangen.
7. Die Vorinstanz hat im Anschluss an die Feststellung, dass dem Beschwerdeführer keine Forderung gegenüber der Beschwerdegegnerin zusteht (Dispositiv Ziff. 1), festgestellt, dass die vom Beschwerdeführer eingeleitete Betreibung zu Unrecht erfolgt und somit nichtig ist (Dispositiv Ziff. 2). Da sich die gegen Ziff. 1 erhobenen Rügen des Beschwerdeführers als unbegründet erwiesen haben, ist nicht ersichtlich, inwiefern der Beschwerdeführer durch die betreffende Feststellung beschwert sein könnte. Die dagegen vorgebrachten Rügen haben daher ausser Acht zu bleiben (Art. 76 Abs. 1 lit. b BGG). Der Beschwerdeführer weist zwar im Zusammenhang mit den beantragten vorsorglichen Massnahmen darauf hin, wenn feststünde, dass er eine nichtige Betreibung gegen die Beschwerdegegnerin angehoben hätte, würde er von der Aufsichtsbehörde umgehend bestraft. Er legt aber nicht dar, inwiefern der betreibungstechnischen Frage der Nichtigkeit der Betreibung disziplinarrechtlich Bedeutung zukommen sollte.
8. Das Obergericht hat dem Beschwerdeführer dem Prozessausgang entsprechend sämtliche Prozesskosten auferlegt. Hauptstreitpunkt zwischen den Parteien bildete der Bestand von Forderungen des Beschwerdeführers. Damit ist unabhängig davon, ob die Beschwerdegegnerin einen unzulässigen Prozessantrag auf Löschung der Betreibung gestellt hat und ob die Vorinstanz Recht verletzte, indem sie feststellte, die vom Beschwerdeführer eingeleitete Betreibung sei zu Unrecht erfolgt und somit nichtig, nicht zu beanstanden, dass dem Beschwerdeführer sämtliche Parteikosten auferlegt wurden. Sein Antrag auf Änderung des Kostendispositivs der Vorinstanz ist somit im Ergebnis jedenfalls unbegründet. Mit seiner Kritik an der Verlegung der Kosten durch das Bezirksgericht verfehlt der Beschwerdeführer mangels Letztinstanzlichkeit (Art. 75 Abs. 1 BGG) das Anfechtungsobjekt.
9. Die Beschwerde erweist sich materiell als unbegründet, womit auch der mit der behaupteten Willkür der kantonalen Instanzen begründeten Rüge der Verletzung des Diskriminierungsverbotes (Art. 8 Abs. 2 BV) der Boden entzogen ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer für das Verfahren vor Bundesgericht kostenpflichtig. Die Zusprechung einer Parteientschädigung entfällt, weil keine Vernehmlassungen eingeholt wurde.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 25. April 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak