Sachverhalt:
A. A.a A._ (Käufer, Kläger, Beschwerdeführer) schloss mit B._ (Verkäufer, Beklagter) am 22. Juni 2006 einen öffentlich beurkundeten Kaufvertrag über das Grundstück "Y._" GB Nr. zzz._ in Q._ ab. Sie vereinbarten darin insbesondere Folgendes:
Ziff. IV.2 des Vertrages:
"Die Kaufspartei wird von der Verkaufspartei ausdrücklich ermächtigt, das Kaufsobjekt zu betreten und für die geplante Überbauung auf GB-Bl. zzz._ bei den zuständigen Behörden im eigenen Namen Baugesuche einzureichen und damit verbundene Verfahren als Gesuchstellerin und Bauherrschaft durchzuführen, gegen Übernahme der daraus resultierenden Kosten und Gebühren. Die Verkaufspartei verpflichtet sich, sämtliche entsprechenden Eingaben und Bewilligungsgesuche als Grundeigentümer mitzuunterzeichnen und Hand zu allen notwendigen Vorkehrungen zu bieten, damit eine Überbauung des Kaufsobjektes ermöglicht wird; vorbehalten bleiben die Einhaltung der öffentlich- und privatrechtlichen Bauvorschriften durch die Kaufspartei. Mit den Bauarbeiten auf dem Kaufsobjekt darf jedoch erst nach erfolgter Eigentumsübertragung des Kaufsobjektes an die Kaufspartei begonnen werden.
Die Kaufspartei ist verpflichtet, bis spätestens am 30. September 2006 eine Baueingabe für GB-Bl. zzz._ einzureichen."
Ziff. IV.3 des Vertrages:
"Der vorliegende Vertrag wird aufgelöst,
- wenn die Baueingabe nicht fristgerecht eingereicht wird,
- wenn aus Gründen, die bei der Kaufspartei liegen, die Eigentumsübertragung nicht innert 3 Monaten nach Rechtskraft der Bewilligung erfolgt,
- wenn nach Rückzug oder Abweisung des Baugesuches nicht innert 3 Monaten eine neue Baueingabe erfolgt."
A.b Am 27. Oktober 2006 reichte der Käufer beim Bezirk Q._ ein Gesuch um Gestaltungsplanänderung ein, verbunden mit einer Baueingabe. Diese Eingaben wurden in der Folge mehrfach abgeändert und bearbeitet. Ab dem 22. November 2007 führten der Käufer und der Verkäufer einen mehrfachen Briefwechsel durch, in dem sich der Verkäufer unzufrieden über die lange Dauer der Geschäftsabwicklung zeigte.
A.c Am 22. bzw. 26. Februar 2008 reichte der Käufer ein erneutes Gesuch um Gestaltungsplanänderung ein. Mit Blick auf dieses neu eingereichte Gesuch zog er das ursprüngliche Baugesuch vom 27. Oktober 2006 am 7. März 2008 zurück.
A.d Zu einem nicht genau bekannten Zeitpunkt, jedoch nach Ende Juli 2008, zog der Verkäufer das Gestaltungsplanänderungsgesuch vom 22. bzw. 26. Februar 2008 ohne Rücksprache mit dem Käufer zurück und verkaufte das Grundstück an einen Dritten. Der (ursprüngliche) Käufer sah darin eine Vertragsverletzung und drohte dem Verkäufer die Geltendmachung des negativen Vertragsinteresses an.
B. B.a Am 23. Januar 2009 erhob der Käufer Klage beim Bezirksgericht Küssnacht mit dem Begehren, der Verkäufer sei zur Zahlung von Fr. 264'783.60 zu verurteilen. Während des erstinstanzlichen Verfahrens verstarb der Verkäufer B._. Der Prozess wurde von seinen Erben, C._ (Beschwerdeführerin 1), D._ (Beschwerdeführerin 2), E._ (Beschwerdeführer 3) und F._ (Beschwerdeführerin 4) weitergeführt.
Mit Urteil vom 16. Dezember 2010 wies das Bezirksgericht Küssnacht die Klage ab.
B.b Gegen dieses Urteil erhob der Käufer am 7. Januar 2011 Berufung an das Kantonsgericht Schwyz und beantragte, das Urteil des Bezirksgerichts sei aufzuheben und die Erben des Verkäufers seien zur Zahlung von Fr. 264'783.60 zu verurteilen.
Mit Urteil vom 18. Oktober 2011 wies das Kantonsgericht Schwyz die Berufung ab, soweit es darauf eintrat.
C. Mit Beschwerde in Zivilsachen vom 6. Dezember 2011 beantragt der Käufer dem Bundesgericht, es sei das Urteil des Kantonsgerichts Schwyz aufzuheben und es seien die Beschwerdegegner zur Zahlung von Fr. 264'783.60 zu verurteilen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegner und die Vorinstanz beantragen die Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Parteien reichten am 13. bzw. am 29. März 2012 unaufgefordert Replik und Duplik ein.
D. Am 14. Mai 2012 reichte der Beschwerdeführer eine als "Ausstandsbegehren" betitelte Eingabe ein. Darin beantragte er in Ergänzung zu seiner Beschwerde die Aufhebung des vorinstanzlichen Entscheids wegen Verletzung der Ausstandsvorschriften gemäss <ref-law> sowie die Wiederholung des Verfahrens vor einem neutral konstituierten Gericht.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1; <ref-ruling> E. 1, 470 E. 1; <ref-ruling> E. 1).
1.1 Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>), die Rechtsbegehren des Beschwerdeführers sind im kantonalen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>).
1.2 Damit ein kantonaler Entscheid mit Beschwerde in Zivilsachen angefochten werden kann, muss der Instanzenzug im Kanton erschöpft sein (<ref-law>).
Der Beschwerdeführer bringt in seiner Eingabe vom 14. Mai 2012 vor, er habe nachträglich neue Tatsachen entdeckt, aus welchen sich schliessen lasse, dass die zuständige Vizegerichtspräsidentin des Kantonsgerichts Schwyz befangen gewesen sei. In solchen Fällen seien nach <ref-law> zwar die Bestimmungen über die Revision anwendbar. Da die Angelegenheit jedoch beim Bundesgericht hängig und damit noch nicht rechtskräftig sei, stehe ihm die Revision im Kanton nicht offen.
Ob diese Ausführungen zutreffend sind, kann vorliegend offen bleiben. Denn für die Zulässigkeit der Beschwerde vor Bundesgericht wird gemeinhin nicht verlangt, dass von einer Revisionsmöglichkeit Gebrauch gemacht worden ist (Urteil 1C_420/2011 vom 25. April 2012 E. 4.4, zur Publikation vorgesehen; <ref-ruling> E. 3.1 S. 444; vgl. auch <ref-ruling> E. 2 zur sog. kassatorischen Revision). Der angefochtene Entscheid ist somit letztinstanzlich i.S.v. <ref-law>. Auf die Beschwerde ist unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 i.V.m. <ref-law>) einzutreten.
1.3 Die Beschwerde ist innert der Beschwerdefrist vollständig begründet einzureichen (<ref-law>). Die Einreichung einer ergänzenden Beschwerdeschrift ist einzig auf dem Gebiet der internationalen Rechtshilfe in Strafsachen grundsätzlich möglich (<ref-law>). In den übrigen Gebieten kommt eine Beschwerdeergänzung im Rahmen der Replik in Betracht, die jedoch nur insoweit statthaft ist, als die Ausführungen in der Vernehmlassung eines anderen Verfahrensbeteiligten dazu Anlass geben (<ref-ruling> E. 2.2; <ref-ruling> E. 3.3.4).
Mit seiner Eingabe vom 14. Mai 2012 hat der Beschwerdeführer unaufgefordert seine Beschwerde durch neue Anträge, Rügen und Beweismittel ergänzt. Diese Eingabe erfolgte nach Ablauf der Beschwerdefrist. Sie kann folglich im vorliegenden Verfahren nicht berücksichtigt werden.
2. Der Beschwerdeführer rügt, die Vorinstanz sei bei der Auslegung einer Vertragsbestimmung in Willkür verfallen. Nach der Vertragsbestimmung IV.3 sollte der Kaufvertrag aufgelöst werden, wenn nach Rückzug oder Abweisung des Baugesuchs nicht innert 3 Monaten eine neue Baueingabe erfolge. Der Beschwerdeführer habe nach dem Rückzug des Baugesuchs am 7. März 2008 innert dieser Frist ein neues Gestaltungsplanabänderungsgesuch eingereicht. Nach den Ausführungen der Vorinstanz sei er damit seinen vertraglichen Pflichten nicht nachgekommen, da die Parteien unter dem Begriff "Baueingabe" ein Baugesuch verstanden hätten und nicht ein blosses Gestaltungsplanabänderungsgesuch. Diese Feststellung sei willkürlich. In Ziff. IV.3 des Vertrages werde zweimal das Wort "Baueingabe" und einmal das Wort "Baugesuch" verwendet. Sinn und Zweck dieser Vertragsbestimmung habe offensichtlich darin bestanden, den Beschwerdeführer zu verpflichten, ohne zeitliche Verzögerung die notwendigen Planungsmassnahmen für die Überbaubarkeit des Grundstückes in die Wege zu leiten. Das Bauamt Q._ habe zudem gewünscht, dass wegen der komplexen Rechtslage zuerst nur ein neues Gestaltungsplanabänderungsgesuch, nicht aber gleichzeitig ein neues Baugesuch eingereicht werden solle. Der Beschwerdeführer habe die Gemeinde auch im Interesse des Verkäufers nicht verärgern wollen.
2.1 Der Bestand eines Vertrages ist wie dessen Inhalt durch Auslegung der Willensäusserungen der Parteien zu bestimmen. Ziel der Vertragsauslegung ist es, in erster Linie den übereinstimmenden wirklichen Parteiwillen festzustellen (<ref-law>). Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum (<ref-ruling> E. 3.1; <ref-ruling> E. 1a S. 73). Die Feststellung des tatsächlichen Parteiwillens beruht auf Beweiswürdigung (vgl. <ref-ruling> E. 3.2 S. 413; <ref-ruling> E. 2.3.2 S. 274, 626 E. 3.1 S. 632 mit Hinweisen). Sie kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5 S. 130, 397 E. 1.5 S. 401; <ref-ruling> E. 1.2.2 S. 252).
2.2 Die Vorinstanz hat ausgeführt, der Verkäufer sei daran interessiert gewesen, das Grundstück möglichst rasch zu verkaufen. Die Parteien hätten ein Interessengleichgewicht angestrebt, indem der Käufer gewisse Handlungen innert vorgesehener Frist vorzunehmen hatte und dem Verkäufer dagegen eine Mitwirkungspflicht auferlegt worden sei. Im Kaufvertrag seien keinerlei andere Ausstiegsmöglichkeiten vorgesehen gewesen als die Fristen gemäss Vertragsziffer IV.3. Bei dieser Konstellation habe die Dauer des Schwebezustandes alleine in den Händen des Käufers gelegen. Das erstinstanzliche Gericht habe diese Vertragsausstiegsregelung als eines von mehreren Indizien dafür angesehen, dass ein Gesuch um Gestaltungsplanänderung nicht als Baueingabe gemäss Vertragsziffer IV.3 gelte. Der Umstand, dass Realisierung und Umsetzung des Projekts kompliziert gewesen seien, ändere nichts daran, dass der Käufer neben dem Gestaltungsplanänderungsgesuch zusätzlich ein Baugesuch hätte einreichen können, wie er dies zu Beginn mit der Baueingabe vom 21. November 2006 auch getan habe. Auch der Einwand, das Bauamt hätte ausdrücklich eine Eingabe ohne ein gleichzeitiges Baugesuch gewünscht, vermöge daran nichts zu ändern. Es habe dem übereinstimmenden Parteiwillen zum Zeitpunkt des Vertragsschlusses entsprochen, dass nur eine Baueingabe, die auch effektiv zur Erteilung einer Baubewilligung führe, und nicht auch ein Gestaltungsplanänderungsgesuch die dreimonatige Frist nach Vertragsziffer IV.3 wahre. Eine Empfehlung des Bauamtes vermöge eine vertragliche Vereinbarung nicht in Frage zu stellen.
2.3 Diese Ausführungen sind nicht zu beanstanden. Es trifft zwar zu, dass in Vertragsziffer IV.3 zweimal das Wort "Baueingabe" und einmal das Wort "Baugesuch" verwendet wird. Dies lässt jedoch die vorinstanzliche Feststellung, wonach die Parteien unter "Baueingabe" (zumindest auch) ein Baugesuch verstanden hätten, noch nicht willkürlich erscheinen. Gegen die Ausführungen der Vorinstanz zur Vertragsausstiegsregelung wendet der Beschwerdeführer nichts ein. Er vermag auch mit dem Hinweis, er habe auf expliziten Wunsch des Bauamtes Q._ nicht zusätzlich ein neues Baugesuch eingereicht, keine willkürliche Feststellung des Parteiwillens nachzuweisen. Denn die Äusserungen des Bauamtes sind nicht relevant für die Frage, was die Parteien bei Vertragsschluss inter partes vereinbaren wollten. Wie die Vorinstanz ausgeführt hat, vermögen Wünsche Dritter den Beschwerdeführer nicht von seinen vertraglichen Pflichten gegenüber dem Beschwerdegegner zu befreien oder diese abzuändern. Die Rüge erweist sich damit als unbegründet.
3. Der Beschwerdeführer rügt weiter, die Vorinstanz habe willkürlich festgestellt, es sei nicht erwiesen, dass der Verkäufer der Einreichung eines neuen Gestaltungsplanabänderungsgesuchs ohne gleichzeitige Einreichung eines neuen Baugesuchs zugestimmt habe. Der Verkäufer habe zwar seinen Unmut über die lange Dauer einer Baugenehmigung zum Ausdruck gebracht. Daraus könne jedoch nicht geschlossen werden, dass er nicht damit einverstanden gewesen sei, die ursprünglichen Eingaben zurückzuziehen und ein neues Gestaltungsplanabänderungsgesuch ohne Baugesuch einzureichen. Der Verkäufer habe das neue Gestaltungsplanabänderungsgesuch mitunterzeichnet und dem daraufhin erfolgten Rückzug der ursprünglichen Eingaben schriftlich zugestimmt. Damit sei seine Zustimmung zum Vorgehen des Beschwerdeführers schriftlich belegt.
3.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Will die beschwerdeführende Partei die Sachverhaltsfeststellungen der Vorinstanz anfechten, so muss sie klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>; vgl. BGE <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4).
Wird Willkür in der Ermittlung des Sachverhalts geltend gemacht, ist zu beachten, dass dem Sachrichter in der Beweiswürdigung ein breiter Ermessensspielraum zusteht; die beschwerdeführende Partei hat daher darzulegen, inwiefern das kantonale Gericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder willkürlich ausser Acht gelassen habe (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b S. 40; <ref-ruling> E. 1b S. 30). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, namentlich auf bloss appellatorische Vorbringen, ist nicht einzutreten (BGE <ref-ruling> E. 1.4.3, 396 E. 3.1 S. 399).
3.2 Die Vorinstanz hat ausgeführt, aus der Mitunterzeichnung des Rückzugs des ursprünglichen Baugesuchs könne nicht ohne weiteres auf eine Einwilligung des Verkäufers geschlossen werden, ein neues Gestaltungsplanabänderungsgesuch ohne gleichzeitiges Baugesuch einzureichen. Aus den Schreiben des Verkäufers gehe klar hervor, dass dieser sich ab November 2007 mehrfach über die zunehmend lange Dauer der Vertragsabwicklung unzufrieden gezeigt habe und auf eine zügige Abwicklung des Geschäfts gedrängt habe. Die Behauptung des Beschwerdeführers, der Verkäufer habe sich ausdrücklich mit dem Rückzug des alten und dem Zuwarten mit der Einreichung eines neuen Baugesuchs einverstanden gezeigt, widerspreche somit klar den Akten.
3.3 Soweit der Beschwerdeführer den Sachverhalt in seinen Ausführungen erweitert, ohne dazu eine Sachverhaltsrüge vorzubringen, ist darauf nicht einzutreten. Im Übrigen beschränkt sich der Beschwerdeführer auf die Behauptung, die Zustimmung zu seinem Vorgehen ergebe sich aus der schriftlichen Zustimmung des Verkäufers zum Rückzug der ursprünglichen Eingaben und aus der Mitunterzeichnung des Gestaltungsplanabänderungsgesuchs. Aus dem vorinstanzlich festgestellten Sachverhalt ist nicht ersichtlich, dass der Verkäufer das neue Gestaltungsplanabänderungsgesuch mitunterzeichnet hätte. Ohnehin ergibt sich weder aus dem Einverständnis zum neuen Gestaltungsplanabänderungsgesuch noch zum Rückzug der ursprünglichen Eingaben ohne weiteres auch eine Zustimmung des Verkäufers dazu, kein neues Baugesuch einzureichen. Die Vorinstanz ist damit nicht in Willkür verfallen, wenn sie eine solche Zustimmung als nicht erwiesen erachtete.
4. Der Beschwerdeführer rügt schliesslich eine willkürliche antizipierte Beweiswürdigung. Er habe bereits vor dem erstinstanzlichen Gericht und auch vor der Vorinstanz vorgebracht, dass die Architekten G._ und H._ das Vorgehen über die Jahre und auch den Rückzug der ursprünglichen Eingaben und Neueinreichung des Gestaltungsplanabänderungsgesuchs ohne Baugesuch mit dem Verkäufer abgesprochen hätten und dieser ihnen gegenüber dem ausdrücklich zugestimmt habe. Die Vorinstanz habe die Befragung der Zeugen mit der Begründung abgelehnt, es sei nicht zu erwarten, dass die offerierten Zeugen eine Zustimmung zum Vorgehen durch den Verkäufer bestätigen könnten, da aus den Akten hervorgehe, dass dieser damit nicht einverstanden gewesen sei. Diese antizipierte Beweiswürdigung sei krass willkürlich.
4.1 Der aus <ref-law> fliessende Anspruch auf rechtliches Gehör verleiht der betroffenen Partei das Recht, in einem Verfahren, welches in ihre Rechtsstellung eingreift, mit rechtzeitig und formgültig angebotenen Beweisanträgen gehört zu werden, soweit diese erhebliche Tatsachen betreffen und nicht offensichtlich beweisuntauglich sind (<ref-ruling> E. 3.2 S. 272; <ref-ruling> E. 3 S. 157; <ref-ruling> E. 2b S. 56; <ref-ruling> E. 2 S. 242; je mit Hinweisen). Dieses Recht auf Beweis ergibt sich gemäss der bundesgerichtlichen Rechtsprechung auch aus <ref-law>, der insoweit für den Bereich des Bundesprivatrechts <ref-law> konkretisiert (Urteil 4A_341/2011 vom 21. März 2012 E. 2.1).
Der bundesrechtliche Beweisführungsanspruch schliesst freilich die vorweggenommene Beweiswürdigung nicht aus (<ref-ruling> E. 2.6 S. 25; <ref-ruling> E. 4a S. 317; je mit Hinweisen). Es bleibt dem Sachgericht unbenommen, von beantragten Beweiserhebungen deshalb abzusehen, weil es sie von vornherein nicht für geeignet hält, die behaupteten Tatsachen zu beweisen oder weil es seine Überzeugung bereits aus anderen Beweisen gewonnen hat und davon ausgeht, dass weitere Abklärungen am massgeblichen Beweisergebnis nichts mehr zu ändern vermöchten (<ref-ruling> E. 3c S. 223 f. mit Hinweisen, vgl. auch <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 2.1 S. 429 mit Hinweisen). Das Bundesgericht greift in eine antizipierte Beweiswürdigung nur ein, wenn sie willkürlich und damit offensichtlich unhaltbar ist, namentlich wenn sie eine prozessuale Vorschrift oder einen unumstrittenen Grundsatz des Beweisrechts krass verletzt oder sonst wie in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1 S. 211; <ref-ruling> E. 2.1 S. 9).
4.2 Die Vorinstanz hat willkürfrei festgestellt, es widerspreche klar den Akten, dass der Verkäufer seine Zustimmung zur Nichteinreichung eines neuen Baugesuchs gegeben habe (vgl. E. 3). Der Verkäufer habe sich ab November 2007 mehrfach über die zunehmend lange Dauer der Vertragsabwicklung unzufrieden gezeigt und habe auf eine zügige Abwicklung des Geschäfts gedrängt. Die Vorinstanz hat zudem darauf hingewiesen, dass die Vorbringen des Beschwerdeführers in Bezug auf diesen Zeugenbeweis auch wenig substanziiert seien. Insbesondere sei unbestimmt geblieben, wann und bei welcher Gelegenheit die behauptete Einwilligung genau erfolgt sei. Gestützt auf diese Voraussetzungen durfte die Vorinstanz ohne in Willkür zu verfallen davon ausgehen, am Beweisergebnis werde sich auch durch eine Befragung der Zeugen G._ und H._ nichts mehr ändern. Die Rüge der willkürlichen antizipierten Beweiswürdigung ist unbegründet.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'500.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 16. Juli 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier