Sachverhalt:
A. Das Obergericht des Kantons Zürich sprach X._ am 3. Februar 2011 in Bestätigung des erstinstanzlichen Entscheids der groben Verletzung von Verkehrsregeln durch Rechtsüberholen auf der Autobahn schuldig. Es verurteilte ihn zu einer bedingt vollziehbaren Geldstrafe von 20 Tagessätzen zu Fr. 250.-- und zu einer Busse von Fr. 1'000.--, bei einer Ersatzfreiheitsstrafe von vier Tagen.
B. Gegen diesen Entscheid führt X._ Beschwerde in Strafsachen. Er beantragt, das Urteil des Obergerichts des Kantons Zürich vom 3. Februar 2011 sei aufzuheben, und er sei von Schuld und Strafe freizusprechen. Eventualiter sei er der einfachen Verkehrsregelverletzung schuldig zu sprechen und mit einer milden Busse zu bestrafen. Subeventualiter sei die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Die Kosten des bundesgerichtlichen Verfahrens seien auf die Bundesgerichtskasse zu nehmen, und es sei ihm eine angemessene Parteientschädigung zu Lasten des Kantons Zürich zuzusprechen.
C. Vernehmlassungen wurden keine eingeholt.

Erwägungen:
1. Gemäss unbestrittenem Sachverhalt lenkte X._ am 11. Juni 2009 gegen 07.15 Uhr seinen Personenwagen auf der Autobahn A3 vom Uetlibergtunnel herkommend in Richtung Chur. Vor dem Entlisbergtunnel (nach dem Ende der Sicherheitslinie) überholte er ein von Zürich-Brunau herkommendes Polizeifahrzeug rechts und wechselte sodann nach links auf den vom Dienstfahrzeug befahrenen, mittleren Fahrstreifen.
Am betreffenden Ort kommen die aus dem Uetlibergtunnel herführende zweispurige Autobahn A3 mit der von Zürich-Brunau herkommenden ebenfalls zweispurigen Autobahn zusammen. Dabei fügt sich der linke Fahrstreifen der A3 an jene an und wird durch den Entlisbergtunnel als dessen dritte Spur weitergeführt. Der rechte Fahrstreifen der vom Uetlibergtunnel herführenden A3 wird rund 200 Meter vor dem Entlisbergtunnel als Einbiegespur signalisiert und wenige Meter vor dem Tunnel ganz abgebaut. Beim Zusammentreffen der Autobahnen werden diese auf einer Strecke von etwa 20-25 Meter durch eine Sicherheitslinie getrennt, an welche sich eine Leitlinie anschliesst (angefochtenes Urteil S. 4, vorinstanzliche Akten, act. 28 S. 2 f.).
2. 2.1 Der Beschwerdeführer bestreitet nicht, rechts am Polizeifahrzeug vorbeigefahren und danach auf den von diesem befahrenen Fahrstreifen gewechselt zu haben. Im Wesentlichen macht er jedoch geltend, die Vorinstanz gehe zu Unrecht davon aus, es habe kein paralleler Kolonnenverkehr geherrscht. Sie verletze Bundesrecht, wenn sie die Anwendung von Art. 8 Abs. 3 Satz 1 bzw. von Art. 36 Abs. 5 lit. a VRV von dichterem als im Zwei-Sekunden-Abstand fahrendem Kolonnenverkehr abhängig mache. Damit verlange sie zugleich, dass die Verkehrsregel der Einhaltung eines ausreichenden Abstands missachtet werde (Beschwerde S. 3 ff.).
Er macht weiter geltend, besonders bei einem Autobahnzusammenschluss, d.h. beim Zusammentreffen von zwei gleichberechtigten Fahrstreifen, gebiete es der Verkehrsfluss, dass ein schnelleres Fahrzeug auf der von rechts her einmündenden Autobahn an einem von links herkommenden, langsameren Fahrzeug rechts vorbeifahren dürfe, um sich in die neu vereinigte Autobahn einzuordnen (Beschwerde S. 5 f.).
2.2 Die Vorinstanz erwägt, angesichts der vorliegenden Verhältnisse könne nicht von Kolonnenverkehr ausgegangen werden. Es sei unbestritten, dass reger Morgenverkehr geherrscht habe. Indessen habe der als Zeuge einvernommene Polizeibeamte ausgesagt, auf dem vom Beschwerdeführer befahrenen Fahrstreifen habe kein Kolonnenverkehr geherrscht. Die Vorinstanz führt weiter aus, auch auf der polizeilichen Videoaufnahme und dem Fotoprint seien auf den beiden Fahrstreifen keine dichten, sich gleichförmig parallel fortbewegenden Fahrzeugreihen auszumachen. Aus der Videoaufzeichnung gehe ausserdem hervor, dass die Fahrzeuge auf dem vom Beschwerdeführer befahrenen Fahrstreifen, vor und hinter ihm, etwa die gleiche Geschwindigkeit gehabt hätten wie das Polizeifahrzeug (angefochtenes Urteil S. 5).
2.3 Gemäss <ref-law> ist links zu überholen, woraus ein Verbot des Rechtsüberholens folgt. Ein Überholen liegt vor, wenn ein Fahrzeug ein in gleicher Richtung langsamer vorausfahrendes einholt, an ihm vorbeifährt und vor ihm die Fahrt fortsetzt, wobei weder das Ausschwenken noch das Wiedereinbiegen eine notwendige Voraussetzung des Überholens bildet (<ref-ruling> E. 4 S. 59 mit Hinweisen). Eine Ausnahme vom Verbot des Rechtsüberholens sieht Art. 8 Abs. 3 Satz 1 der Verkehrsregelnverordnung vom 13. November 1962 (VRV; SR 741.11) allgemein und Art. 36 Abs. 5 lit. a VRV auf Autobahnen "beim Fahren in parallelen Kolonnen" vor, wobei nur das Rechtsvorbeifahren gestattet ist. Das Rechtsüberholen durch Ausschwenken und Wiedereinbiegen ist gemäss Art. 8 Abs. 3 Satz 2 VRV ausdrücklich untersagt.
Nach der bundesgerichtlichen Rechtsprechung setzt paralleler Kolonnenverkehr dichten Verkehr auf beiden Fahrspuren, somit ein längeres Nebeneinanderfahren von mehreren sich in gleicher Richtung bewegenden Fahrzeugreihen, voraus (<ref-ruling> E. 3a S. 222 mit Hinweis). Bezüglich der geforderten Dichte des Verkehrs ist auf eine natürliche, verkehrsgerechte Betrachtung abzustellen (RENÉ SCHAFFHAUSER, Grundriss des schweizerischen Strassenverkehrsrechts, Band I, 2. Aufl. 2002, N. 681). In <ref-ruling> hielt das Bundesgericht fest, dass die erforderliche Dichte für die Annahme von parallelem Kolonnenverkehr nicht erst vorliegt, wenn sich die Fahrzeuge nur noch im Schritttempo bewegen oder gar zum Stillstand gekommen sind (hierzu: BUSSY/RUSCONI, Code suisse de la circulation routière, commentaire, 3. Aufl. 1996, N. 2.1.1 a) zu <ref-law>).
Nach der bundesgerichtlichen Rechtsprechung setzt paralleler Kolonnenverkehr dichten Verkehr auf beiden Fahrspuren, somit ein längeres Nebeneinanderfahren von mehreren sich in gleicher Richtung bewegenden Fahrzeugreihen, voraus (<ref-ruling> E. 3a S. 222 mit Hinweis). Bezüglich der geforderten Dichte des Verkehrs ist auf eine natürliche, verkehrsgerechte Betrachtung abzustellen (RENÉ SCHAFFHAUSER, Grundriss des schweizerischen Strassenverkehrsrechts, Band I, 2. Aufl. 2002, N. 681). In <ref-ruling> hielt das Bundesgericht fest, dass die erforderliche Dichte für die Annahme von parallelem Kolonnenverkehr nicht erst vorliegt, wenn sich die Fahrzeuge nur noch im Schritttempo bewegen oder gar zum Stillstand gekommen sind (hierzu: BUSSY/RUSCONI, Code suisse de la circulation routière, commentaire, 3. Aufl. 1996, N. 2.1.1 a) zu <ref-law>).
2.4 2.4.1 Soweit der Beschwerdeführer die tatsächlichen Feststellungen der Vorinstanz ergänzt und ihnen eigene Behauptungen bzw. seine eigene Sicht der Dinge gegenüberstellt, indem er z.B. vorbringt, der Abstand zwischen den Fahrzeugen auf den beiden Fahrstreifen habe etwa dem gebotenen Sicherheitsabstand gemäss der "Zwei-Sekunden-Regel" entsprochen (Beschwerde S. 4), ist er nicht zu hören. Dass die vorinstanzliche Sachverhaltsfeststellung willkürlich wäre (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; vgl. zur offensichtlichen Unrichtigkeit bzw. Willkür <ref-ruling> E. 1.4.1 S. 39 mit Hinweis), wird von ihm weder behauptet noch begründet. Auf die Beschwerde ist insoweit nicht einzutreten.
2.4.2 Nach den willkürfreien Feststellungen der Vorinstanz befanden sich auf beiden Fahrstreifen trotz regen Morgenverkehrs keine dichten, sich gleichförmig fortbewegenden Fahrzeugreihen. Zu Recht weist sie darauf hin, dass der Beschwerdeführer im Falle von parallelem Kolonnenverkehr nicht als einziger das Polizeifahrzeug über eine Strecke von 160 Metern mit einer 10-15 km/h höheren Geschwindigkeit als dieses hätte überholen können (Urteil 6B_156/2007 vom 23. Juli 2007 E. 4.2). Indem er nach dem Ende der Sicherheitslinie trotz fehlenden parallelen Kolonnenverkehrs das Dienstfahrzeug überholte, vollzog er ein unzulässiges Rechtsüberholen auf der Autobahn.
2.5 Dem Einwand des Beschwerdeführers, wonach im Bereich eines Autobahnzusammenschlusses immer eine Ausnahmesituation bezüglich des Rechtsüberholverbots vorliege, ist nicht zu folgen. Die Vorinstanz führt hierzu zutreffend aus, dass auch in einem solchen Bereich nach Ende der Sicherheitslinie die allgemeinen Überholregeln einer mehrspurigen Strasse bzw. Autobahn zu beachten sind. Gemäss ihren tatsächlichen Feststellungen bestand für den Beschwerdeführer ausserdem keine Notwendigkeit, sich in dem vom Polizeifahrzeug befahrenen Fahrstreifen einzuordnen. Die Spur, von der er kam, wird nicht abgebaut (E. 1 hiervor). Er kehrte nach dem Überholmanöver sogar auf sie zurück, um die Ausfahrt Zürich-Wollishofen zu nehmen (angefochtenes Urteil S. 6). Es lag demgemäss auch keine ähnliche Verkehrssituation vor, wie sie dem Bundesgerichtsurteil 124 IV 219 (Aufhebung des rechten Fahrstreifens) zu Grunde lag. Der Beschwerdeführer befand sich - entgegen seiner Auffassung - nicht auf einer "einbiegenden Spur mit der Funktion eines Beschleunigungsstreifens" (Beschwerde S. 6). Gemäss den vorinstanzlichen Feststellungen wäre es ihm möglich gewesen, seine Fahrt zu verlangsamen, um seine Geschwindigkeit an die des Polizeifahrzeugs anzupassen. Daher wäre auch kein brüskes Bremsmanöver erforderlich gewesen, um sich an das Verbot des Rechtsüberholens zu halten. Ein angemessenes Abbremsen stellt für die nachfolgenden Fahrzeuglenker grundsätzlich kein Risiko dar, zumal diese mit dem Befahren des Autobahnzusammenschlusses darauf gefasst sein mussten, dass sie unter Umständen ihre Geschwindigkeit an die Fahrzeuge der sich links anfügenden Spur anzupassen hatten (angefochtenes Urteil S. 7).
3. 3.1 Eventualiter macht der Beschwerdeführer geltend, es liege keine grobe, sondern eine einfache Verkehrsregelverletzung nach <ref-law> vor. Angesichts der speziellen Verkehrssituation bei Autobahnzusammenschlüssen sei sein Überholmanöver nicht besonders gefährlich gewesen. Es sei nicht geeignet gewesen, andere zu einer gefährlichen Fehlreaktion zu veranlassen. In einem solchen Bereich gelte der Grundsatz nicht, wonach sich andere Verkehrsteilnehmer darauf verlassen dürften, dass nicht rechts an ihnen vorbeigefahren werde. Sodann bestehe bei einem Fahrstreifenwechsel die Pflicht zur Vorsicht und Vortrittsgewährung an den einmündenden Verkehr nach <ref-law> (Beschwerde S. 6 ff.).
3.2 Der Tatbestand der groben Verletzung von Verkehrsregeln im Sinne von <ref-law> ist objektiv erfüllt, wenn der Täter eine wichtige Verkehrsvorschrift in objektiv schwerer Weise missachtet und die Verkehrssicherheit ernstlich gefährdet. Eine ernstliche Gefahr für die Sicherheit anderer ist bereits bei einer erhöhten abstrakten Gefährdung gegeben. Ob eine konkrete, eine erhöhte abstrakte oder nur eine abstrakte Gefahr geschaffen wird, hängt von der Situation ab, in welcher die Verkehrsregelverletzung begangen wird. Wesentliches Kriterium für die Annahme einer erhöhten abstrakten Gefahr ist die Nähe der Verwirklichung. Die allgemeine Möglichkeit der Verwirklichung einer Gefahr genügt demnach nur zur Erfüllung des Tatbestands von <ref-law>, wenn in Anbetracht der Umstände der Eintritt einer konkreten Gefährdung oder gar einer Verletzung nahe liegt (<ref-ruling> E. 3.2 mit Hinweisen).
Subjektiv wird nach der Rechtsprechung ein rücksichtsloses oder sonst schwerwiegend verkehrswidriges Verhalten, d.h. ein schweres Verschulden, verlangt. Rücksichtslos ist unter anderem ein bedenkenloses Verhalten gegenüber fremden Rechtsgütern, was auch in einem blossen Nichtbedenken der Gefährdung fremder Interessen bestehen kann (<ref-ruling> E. 3.2 S. 136 mit Hinweisen).
3.3 Die Vorinstanz bejaht den Tatbestand von <ref-law> vorliegend zu Recht (angefochtenes Urteil S. 9 f. mit Verweis auf das erstinstanzliche Urteil S. 8 ff.).
Das Verbot des Rechtsüberholens ist eine für die Verkehrssicherheit objektiv wichtige Vorschrift, deren Missachtung eine erhebliche Gefährdung der Verkehrssicherheit mit beträchtlicher Unfallgefahr nach sich zieht und daher objektiv schwer wiegt. Wer auf der Autobahn fährt, muss sich darauf verlassen können, nicht plötzlich rechts überholt zu werden. Das Rechtsüberholen auf der Autobahn, auf der hohe Geschwindigkeiten gefahren werden, stellt eine erhöhte abstrakte Gefährdung anderer Verkehrsteilnehmer dar (Urteil 6B_959/2009 vom 23. Februar 2010 E. 3.3 mit Hinweis auf <ref-ruling> E. 3). Dies gilt entgegen der Auffassung des Beschwerdeführers ganz besonders im vorliegenden Fall. Aufgrund des Rechtsfahrgebots bei mehrspurigen Strassen hatte er damit zu rechnen, dass Fahrzeuge von dem von Zürich-Brunau herkommenden Fahrstreifen nach dem Ende der Sicherheitslinie, d.h. am Ort seines unzulässigen Überholmanövers, auf den weiter rechts liegenden Fahrstreifen wechseln könnten. Ein solches Fahrmanöver liegt zumindest für die von Zürich-Brunau herkommenden Fahrzeuglenker, welche die Autobahn bei der nächsten Ausfahrt, Zürich-Wollishofen, verlassen wollen, auf der Hand. Das Risiko eines Verkehrsunfalls war ausserdem aufgrund des starken Verkehrsaufkommens und der eingeschränkten Sicht infolge starken Regens besonders hoch. Nicht ersichtlich ist, inwiefern der Beschwerdeführer aus <ref-law> etwas zu seinen Gunsten ableiten will. Diese Bestimmung entbindet die Fahrzeuglenker nicht, sich an die allgemeinen und besonderen Verkehrsregeln, wie das grundsätzliche Verbot des Rechtsüberholens, zu halten. Die Vorinstanz ging sodann zu Recht von einem eventualvorsätzlichen Handeln des Beschwerdeführers aus. Auf ihre diesbezüglichen Erwägungen ist zu verweisen (<ref-law>; angefochtenes Urteil S. 8 mit Verweis auf das erstinstanzliche Urteil S. 9 f.).
Die rechtliche Qualifikation der Tat als grobe Verkehrsregelverletzung durch Rechtsüberholen auf der Autobahn nach Art. 90 Ziff. 2 i.V.m. <ref-law> und Art. 36 Abs. 5 VRV erweist sich als bundesrechtskonform.
4. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 1. Juni 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Mathys Pasquini