Sachverhalt: A. A._ (Beschwerdeführer) schloss mit dem Verein "Y._" (Beschwerdegegner 2) einen Vertrag, gemäss welchem er auf den 1. November 1999 die Funktion als Chefarzt eines Fachbereichs übernahm, in welchem er zuvor als Oberarzt angestellt gewesen war. Er sollte nach den in den Rahmenbedingungen der Vereinigung der Krankenanstalten des Kantons Wallis (Groupement des établissements hospitaliers du canton du Valais, GEHVAL) festgelegten Ansätzen entlöhnt werden. Es war kein fixer Lohn vereinbart, sondern die Vergütung erfolgte gemäss seiner Einzelleistung ("à l'act." Ansätzen). Daneben war er berechtigt, im Spital eine Privatpraxis zu führen, wobei der Beschwerdegegner 2 das Inkasso und die Kosten für das Sekretariat, das Material und die Miete übernahm und hierfür 40 % des fakturierten Jahresumsatzes einbehielt. Der Beschwerdeführer erhielt monatliche Akontozahlungen, welche über die gesamte Anstellungsdauer zwischen Fr. 9'200.-- und Fr. 42'000.-- schwankten (im Monat Dezember 2002 lag die Zahlung bei Fr. 4'300.--, weil vorgängig ein Betrag von Fr. 15'800.-- in Abzug gebracht worden war). Der exakte Lohnanspruch aufgrund der Einzelleistungen wurde mit der Abrechnung Ende Jahr berechnet. B. Gemäss den Rahmenbedingungen hatte ein Chefarzt pro Jahr Anspruch auf maximal 6 Wochen Ferien und zwei Wochen für die Teilnahme an Kongressen und Fortbildungskursen. Beim nach Einzelleistung bezahlten Chefarzt war das Gehalt für Ferien im Lohn inbegriffen. Der Beschwerdeführer war sich dessen bewusst und hat die Regelung gemäss eigener Aussage "zähneknirschend" akzeptiert. C. Der Beschwerdeführer war mit dem vorgeschlagenen Vertrag in mehreren Punkten nicht einverstanden, welche er vor Vertragsunterzeichnung zur Diskussion stellte. Den auf den 8. Januar 2000 datierten Arbeitsvertrag hat er erst am 6. Februar 2000 gegengezeichnet. In diesen Verhandlungen war die Ferienregelung kein Thema. D. Mit Wirkung ab 1. Januar 2004 übernahm X._ (Beschwerdegegner 1) den Betrieb und die Leitung der Walliser Spitäler und unterbreitete den Ärzten nach Leistungsvergütung eine Zusatzvereinbarung betreffend die Übernahme der Vertragsverhältnisse. Diese Vereinbarung unterzeichnete der Beschwerdeführer nicht. Das Arbeitsverhältnis wurde im gegenseitigen Einverständnis per 31. Juli 2004 beendet. Knapp ein Jahr danach machte der Beschwerdeführer rückwirkend für die gesamte Vertragsdauer einen Anspruch auf Vergütung der jährlichen Ferienentschädigung geltend und erhob schliesslich Klage beim Bezirksgericht Visp. Nachdem im Laufe des Verfahrens das Lohneinkommen für das Jahr 2004 bereinigt worden war, bezifferte der Beschwerdeführer seinen Anspruch auf Fr. 162'297.-- brutto nebst Zins und verlangte diesen Betrag von den Beschwerdegegnern unter solidarischer Haftbarkeit, wobei diese zu verpflichten seien, auf dem geforderten Betrag die Sozialversicherungsbeträge mit den entsprechenden Organen abzurechnen. E. Nachdem das Bezirkgericht die Akten an das Kantonsgericht des Kantons Wallis gesandt hatte, wies dieses die Klage mit Urteil vom 8. November 2008 ab. Es stellte fest, weder der Vertrag noch die einzelnen Abrechnungen enthielten Angaben zum Ferienlohnanteil. Dies sei grundsätzlich aber notwendig, wenn der Ferienlohn mit dem gewöhnlichen Lohn ausbezahlt werde. Aufgrund der konkreten Umstände warf es dem Beschwerdeführer aber rechtsmissbräuchliches Verhalten vor, weil dieser der Regelung bewusst zugestimmt und die Beschwerdegegner erst nachträglich auf deren Unzulässigkeit hingewiesen habe, so dass sie ihre Interessen nicht hätten wahren können. Mit den monatlichen Akontozahlungen sei zudem dem Gesetzeszweck Genüge getan. Ausserdem sei der Anspruch des Beschwerdeführers auch mit Blick auf seine teilweise selbständige Tätigkeit nicht gerechtfertigt. F. Mit Beschwerde in Zivilsachen hält der Beschwerdeführer im Wesentlichen an seinem im kantonalen Verfahren gestellten Begehren fest. Die Beschwerdegegner schliessen in separaten Eingaben auf kostenfällige Abweisung der Beschwerde, während das Kantonsgericht auf Gegenbemerkungen verzichtet.