Sachverhalt:
A. X._ fuhr am 11. Juni 2005 auf der Ibergereggstrasse in seinem Personenwagen Mercedes in Richtung Ibergeregg. Dabei schloss er zu einem Personenwagen Mitsubishi auf, der hinter einem Viehtransporter mit Anhänger mit ca. 30 km/h bergwärts fuhr. Mit der Absicht, den Mitsubishi zu überholen, betätigte X._ die Lichthupe und setzte zum Überholen an, wobei die beiden Personenwagen seitlich zusammenstiessen.
Der Lenker des Mitsubishi wurde am 20. April 2007 vom Kantonalen Strafgericht Schwyz wegen ungenügenden Rechtsfahrens mit Fr. 200.-- gebüsst.
B. Das Bezirksgericht Schwyz verurteilte X._ am 7. September 2007 wegen unvorsichtigen Überholens zu Fr. 200.-- Busse, ersatzweise zu zwei Tagen Freiheitsstrafe.
Eine Nichtigkeitsbeschwerde des Gebüssten wies das Kantonsgericht Schwyz am 28. Juli 2008 ab, soweit es darauf eintrat.
C. X._ führt Beschwerde in Strafsachen und beantragt, das angefochtene Urteil sei aufzuheben, und er sei von Schuld und Strafe freizusprechen.
Erwägungen:
1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhaltes durch die Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Verletzung von schweizerischem Recht im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG; vgl. auch Art. 105 Abs. 2 BGG). Die Rüge der offensichtlich unrichtigen Feststellung des Sachverhalts, mithin der Verletzung des Willkürverbots, prüft das Bundesgericht gemäss Art. 106 Abs. 2 BGG nur insoweit, als sie in der Beschwerde explizit vorgebracht und substantiiert begründet worden ist (BGE 133 II 249 E. 1.4.3 S. 254; 133 IV 286 E. 1.4 S. 287, je mit Hinweisen).
2. 2.1 Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig bzw. willkürlich festgestellt. Die Unfallfahrzeuge seien nicht 10 m, sondern 13.8 m vor ihrer Endlage gleichauf gewesen. Zudem sei die Vorinstanz von zu grossen Breiten der Fahrzeuge ausgegangen. Diese würden ohne die Seitenspiegel zusammen eine Breite von ca. 3.4 m aufweisen.
Die Vorinstanz ging in Übereinstimmung mit dem Gutachter und den Ausführungen des Beschwerdeführers davon aus, die Unfallfahrzeuge seien 10 m vor ihrer Endlage parallel gefahren (angefochtener Entscheid S. 4 f., lit. b/aa). Als Breite der beiden Fahrzeuge nahm sie 3.55 m an (a.a.O., S. 5), während der Beschwerdeführer diese gar mit 3.60 m angegeben hatte (Nichtigkeitsbeschwerde an das Kantonsgericht Schwyz, S. 7).
2.2 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Tatsachen und Beweismittel, welche bereits anlässlich des vorinstanzlichen Entscheides Bestand hatten und nicht vorgebracht wurden, dürfen vor Bundesgericht nicht mehr geltend gemacht werden. Werden neue Tatsachen oder Beweismittel vorgebracht, ist in der Beschwerde darzutun, inwiefern erst der angefochtene Entscheid dazu Anlass gegeben hat. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von Art. 99 Abs. 1 BGG für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne weiteres hätten vorgebracht werden können. Dies ergibt sich zwingend aus der Bindung des Bundesgerichts an die vorinstanzliche Sachverhaltsfeststellung (BGE 134 V 223 E. 2.2.1 S. 226 mit Hinweisen).
2.3 Um zu belegen, dass der Beschwerdeführer bei einer Strassenbreite von 5.35 m regelkonform hätte überholen können, legt er seinen Berechnungen teilweise neue Behauptungen zugrunde. Er macht geltend, die Unfallfahrzeuge seien 13.8 m vor ihrer Endlage gleichauf gewesen und würden eine Breite von 3.4 m aufweisen. Er legt aber nicht dar, inwiefern erst der angefochtene Entscheid zu diesen neuen Behauptungen Anlass gegeben hätte. Diese stehen zudem mit seinen eigenen Angaben anlässlich des kantonalen Verfahrens in Widerspruch. Deshalb sind die entsprechenden Rügen und die Tafeln, mit denen er seine neuen Vorbringen illustriert, neue Tatsachen, für die der Entscheid der Vorinstanz keinen Anlass gab. Sie sind gemäss Art. 99 Abs. 1 BGG unzulässig.
Im Übrigen sind für die Berechnung der Breite der beiden Fahrzeuge die Seitenspiegel miteinzubeziehen.
2.4 Der Beschwerdeführer bringt vor, er hätte seine Geschwindigkeit beim Überholen von 50 km/h noch weiter bis auf 67 bzw. 71 km/h beschleunigt. Die Vorinstanz habe den Sachverhalt willkürlich festgestellt, indem sie eine konstante anstatt eine beschleunigte Geschwindigkeit angenommen habe.
Auch die Hypothese einer beschleunigenden Geschwindigkeit über 50 km/h hinaus ist neu. Im vorinstanzlichen Verfahren argumentierte der Beschwerdeführer ausschliesslich mit einer Geschwindigkeit von 50 km/h. Da er auch nicht darlegt, inwiefern erst der angefochtene Entscheid Anlass zum Novum geboten hätte, ist auf die Rüge nicht einzutreten.
3. 3.1 Der Beschwerdeführer beanstandet, die Vorinstanz habe die Reaktionszeit nicht berücksichtigt, die er während des Überholmanövers gebraucht habe, um dieses abzubrechen und mit Bremsen zu beginnen. Daraus folge, dass sich die beiden Fahrzeuge in Wirklichkeit 6.94 m weiter talwärts auf gleicher Höhe befanden, als dies von der Vorinstanz angenommen worden sei. Dadurch habe sie den Sachverhalt offensichtlich unrichtig festgestellt.
3.2 Die Vorinstanz stützt sich für die Berechnung der Stelle, wo sich die beiden Fahrzeuge auf derselben Höhe befunden haben, auf den erwähnten Gutachter. Dieser berücksichtigte für die Berechnung des Ortes, wo die Kollision der Unfallfahrzeuge stattfand, eine Reaktionszeit (angefochtener Entscheid S. , S. 4 f., mit Verweis auf U-act. 1-5 Ziff. 6.1). Damit erweist sich die Rüge als unbegründet.
4. 4.1 Schliesslich macht der Beschwerdeführer geltend, an den tatsächlichen Voraussetzungen des vorinstanzlichen Urteils seien Zweifel vorhanden, so dass es auch unter diesem Aspekt nach dem Grundsatz "in dubio pro reo" zu einem Freispruch des Beschwerdeführers kommen müsse.
4.2 Der Beschwerdeführer begründet nicht weiter, inwiefern die Vorinstanz den gerügten Grundsatz verletzt haben soll. Seine Ausführungen erschöpfen sich in einer unzulässigen appellatorischen Kritik am angefochtenen Urteil und genügen damit den Begründungsanforderungen gemäss Art. 106 Abs. 2 BGG nicht.
5. Die Beschwerde ist daher abzuweisen, soweit darauf einzutreten ist. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz schriftlich mitgeteilt.
Lausanne, 26. Januar 2009
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Borner