Sachverhalt:
A. Der 1962 geborene S._ war vom 1. Juni 2007 bis 31. Mai 2008 als Rechtsanwalt in einer Anwaltskanzlei angestellt. Daraufhin machte er sich mit einer eigenen Praxis selbständig. Am 23. November 2009 meldete er sich beim Regionalen Arbeitsvermittlungszentrum (RAV) zur Arbeitsvermittlung an und stellte Antrag auf Arbeitslosenentschädigung. Das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich stellte ihn in der Folge mit Verfügung vom 15. Februar 2010 wegen ungenügender persönlicher Arbeitsbemühungen ab 23. November 2009 für sieben Tage in der Anspruchsberechtigung ein. Daran hielt dieses auf Einsprache hin fest (Einspracheentscheid vom 26. März 2010).
B. Das Sozialversicherungsgericht des Kantons Zürich hiess die dagegen erhobene Beschwerde mit Entscheid vom 11. November 2011 gut und hob den Einspracheentscheid des AWA vom 26. März 2010 und die Verfügung vom 15. Februar 2010 auf.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das AWA, es seien der Gerichtsentscheid vom 11. November 2011 aufzuheben und der Einspracheentscheid vom 26. März 2010 zu bestätigen.
S._, das Staatssekretariat für Wirtschaft (seco) und das kantonale Gericht verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. 2.1 Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Pflichten der versicherten Person im Hinblick auf die Vermeidung oder Verkürzung von Arbeitslosigkeit und den Nachweis entsprechender Anstrengungen (<ref-law>) sowie die Einstellung in der Anspruchsberechtigung wegen ungenügender persönlicher Arbeitsbemühungen (<ref-law>) zutreffend dargelegt. Gleiches gilt für die Rechtsprechung, wonach die versicherte Person sich bereits vor der Meldung auf dem Arbeitsamt um einen neuen Arbeitsplatz bewerben muss (ARV 2005 S. 56, C 208/03 E. 3.1; Urteil 8C_761/2009 vom 23. Dezember 2009 E. 2.1). Darauf wird verwiesen. Beizufügen ist, dass die Dauer der Sanktion vom Verschuldensgrad abhängt (<ref-law> in Verbindung mit <ref-law> in der bis 31. März 2011 in Kraft gestandenen Fassung).
2.2 <ref-law> legt für den Leistungsbezug und für die Beitragszeit, sofern das Gesetz nichts anderes vorsieht, zweijährige Rahmenfristen fest.
Gemäss <ref-law> wird die Rahmenfrist für den Leistungsbezug von Versicherten, die den Wechsel zu einer selbständigen Erwerbstätigkeit ohne Bezug von Leistungen nach den Artikeln 71a-71d AVIG vollzogen haben, um zwei Jahre verlängert, wenn im Zeitpunkt der Aufnahme der selbständigen Erwerbstätigkeit eine Rahmenfrist für den Leistungsbezug läuft (lit. a) und der Versicherte im Zeitpunkt der Aufgabe der selbständigen Erwerbstätigkeit die Anspruchsvoraussetzung der genügenden Beitragszeit wegen Ausübung der selbständigen Erwerbstätigkeit nicht erfüllt (lit. b).
Nach <ref-law> wird die Rahmenfrist für die Beitragszeit von Versicherten, die den Wechsel zu einer selbständigen Erwerbstätigkeit ohne Bezug von Leistungen vollzogen haben, um die Dauer der selbständigen Erwerbstätigkeit, höchstens jedoch um zwei Jahre verlängert.
3. Fest steht, dass sich der Beschwerdegegner am 23. November 2009 zur Arbeitsvermittlung in eine Vollzeitbeschäftigung anmeldete und für die vorangegangene Zeit im Monat Oktober 2009 zwei Stellenbewerbungen auswies.
Streitig und zu prüfen ist, ob er wegen ungenügender Arbeitsbemühungen vor der Anmeldung beim RAV in der Anspruchsberechtigung einzustellen ist.
3.1 Das kantonale Gericht hob die vom AWA verfügte und mit Einspracheentscheid vom 26. März 2010 bestätigte Einstellung in der Anspruchsberechtigung mit der Begründung auf, aufgrund seines Status als Selbständigerwerbender vor der Anmeldung beim RAV sei der Versicherte nicht als im Rechtssinne arbeitslos zu betrachten. Aus der Definition der Arbeitslosigkeit (<ref-law>) und der Bestimmung von <ref-law> folge, dass versicherte Personen, die ohne Inanspruchnahme der Hilfe der Arbeitslosenversicherung eine selbständige Erwerbstätigkeit aufnähmen, Arbeitslosigkeit vermeiden würden und nicht arbeitslos seien. Mangels Arbeitslosigkeit seien diese Personen nicht gehalten, die Kontrollvorschriften zu erfüllen, sich um die Aufnahme einer unselbständigen Erwerbstätigkeit zu bemühen und diese Bemühungen nachzuweisen. Da sie sich mit der Aufnahme der selbständigen Erwerbstätigkeit so verhielten, wie wenn es die Arbeitslosenversicherung nicht gäbe, bestehe kein Raum für eine Einstellung in der Anspruchsberechtigung.
3.2 Der Beschwerdeführer rügt die von der Vorinstanz vorgenommene rechtliche Würdigung als bundesrechtswidrig. Die Aufnahme einer selbständigen Erwerbstätigkeit zur Vermeidung oder Verkürzung von Arbeitslosigkeit werde vom Gesetzgeber als schadenmindernde Massnahme begrüsst. Damit sich dies für die versicherte Person im Falle eines Scheiterns nicht nachteilig auswirke, habe dieser bei Vorliegen der in <ref-law> statuierten Voraussetzungen eine Verlängerung der Rahmenfrist für den Leistungsbezug bzw. für die Beitragszeit vorgesehen. Dies entbinde die versicherte Person indessen nicht von der Verpflichtung, sich um eine Anstellung zu bemühen, sobald das Scheitern der selbständigen Erwerbstätigkeit absehbar werde.
4. 4.1 Der Vorinstanz ist insofern beizupflichten, als die Arbeitslosigkeit im rechtlichen Sinne mit der Aufnahme einer selbständigen Erwerbstätigkeit endet (<ref-ruling> E. 3a S. 215: THOMAS NUSSBAUMER, Arbeitslosenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 2. Aufl. 2007, S. 2223 Rz. 149). Während der Dauer der Ausübung der selbständigen Erwerbstätigkeit als Rechtsanwalt vom 1. Juni 2007 bis 31. Mai 2008 war der Beschwerdegegner unbestrittenermassen nicht arbeitslos (vgl. <ref-law>).
4.2 Dem Umstand eines möglichen späteren Scheiterns der selbständigen Erwerbstätigkeit trägt der Gesetzgeber in <ref-law> mittels einer Verlängerung der Rahmenfrist Rechnung. Der im Rahmen der am 1. Juli 2003 in Kraft getretenen AVIG-Revision neu eingefügte <ref-law> erfasst Personen, die eine selbständige Erwerbstätigkeit ohne Unterstützung der Arbeitslosenversicherung aufgenommen und wieder definitiv aufgegeben haben und bei (Wieder-)Anmeldung bei der Arbeitslosenversicherung die Mindestbeitragszeit im Sinne von Art. 9 Abs. 3 in Verbindung mit Art. 13 Abs. 1 AVIG nicht erfüllen. Wie <ref-law> trägt <ref-law> dem erhöhten Risiko Rechnung, welches mit der Aufnahme einer selbständigen Erwerbstätigkeit verbunden ist. Nach der ratio legis soll die Tatsache allein, dass aufgrund einer nicht beitragswirksamen (vgl. <ref-law>) selbständigen Erwerbstätigkeit keine genügende Beitragszeit generiert werden konnte, bei (Wieder-)Anmeldung zum Taggeldbezug den Anspruch nicht ausschliessen (<ref-ruling> E. 3.1 S. 85; ARV 2007 S. 200, C 188/06 E. 3.1; vgl. auch BGE 8C_311/2011 vom 12. Dezember 2011).
4.3 Ohne die Ausnahmeregelung von <ref-law> wäre Personen, die im Anschluss an das letzte Arbeitsverhältnis ohne Anmeldung bei der Arbeitslosenversicherung oder während einer eröffneten Rahmenfrist ohne Unterstützungsleistungen nach <ref-law> eine selbständige Erwerbstätigkeit aufnahmen, die weitere Bezugsberechtigung bei Ablauf der Rahmenfristen verbaut (<ref-ruling> E. 3.2 S. 86). <ref-law> enthält eine Regelung, welche es versicherten Personen, die sich selbständig gemacht haben, ermöglicht, mittels Verlängerung der Rahmenfrist wieder ins Versicherungssystem zurückzukehren. Bei Aufgabe der selbständigen Erwerbstätigkeit nehmen diese nach Wiederanmeldung innert der verlängerten Rahmenfrist die Leistungsberechtigung im Status quo ante wieder auf. Sie erhalten bis zum Ende der Rahmenfrist Taggelder, begrenzt durch deren Restlaufzeit und auf die Höchstzahl nach <ref-law> unter Anrechnung der vor der Abmeldung bereits bezogenen Leistungen (<ref-law>; NUSSBAUMER, a.a.O., S. 2213 Rz. 106 und S. 2216 Rz. 120).
4.4 Obwohl eine Einstellung in der Anspruchsberechtigung nur möglich ist, wenn sämtliche gesetzlichen Anspruchsvoraussetzungen gemäss Art. 8 Abs. 1 AIVG gegeben sind (<ref-ruling> E. 4 S. 525), und dementsprechend nur während der Zeit der Anspruchsberechtigung vorgenommen werden kann (<ref-law>), braucht sich das sanktionswürdige Verhalten nicht während laufender Anspruchsberechtigung zugetragen zu haben. So muss sich zum Beispiel die versicherte Person gemäss ihrer Schadenminderungspflicht nach konstanter Praxis auch die vor der Meldung auf dem Arbeitsamt unterlassenen Stellenbewerbungen entgegenhalten lassen (bereits erwähntes Urteil C 208/03 E. 3.1 mit Hinweisen). Da <ref-law> nach dem in E. 4.2 und 4.3 hievor Ausgeführten die Anspruchsvoraussetzung der Erfüllung der Rahmenfrist für die Beitragszeit beschlägt (<ref-law>) und von keiner Seite in Frage gestellt wird, dass der Beschwerdegegner ab dem 23. November 2009 grundsätzlich anspruchsberechtigt ist, ist die von der Vorinstanz angerufene Bestimmung für die vorliegend zu beurteilende Einstellungsfrage nicht einschlägig.
4.5 <ref-law> regelt allgemein die materiellen Pflichten der versicherten Personen. Zu ihnen gehört insbesondere die Pflicht, sich genügend um Arbeit zu bemühen. Mittels Einstellung in der Anspruchsberechtigung (<ref-law>) soll dieser speziellen Pflicht zum Durchbruch verholfen werden. Mit der Verknüpfung von Schadenminderungspflicht und Sanktion will das AVIG die versicherten Personen zur Stellensuche anspornen und sie davon abhalten, die Arbeitslosenversicherung missbräuchlich in Anspruch zu nehmen (<ref-ruling> E. 1; <ref-ruling> E. 2b S. 227). Die in <ref-law> statuierte Schadenminderungspflicht trifft sämtliche versicherten Personen, die sich beim RAV anmelden und ab diesem Zeitpunkt Versicherungsleistungen beanspruchen können, unabhängig davon, ob sie unmittelbar vorher unselbständig oder selbständig erwerbstätig waren. Beide Kategorien von Versicherten nehmen in Kauf, länger arbeitslos zu bleiben, wenn sie sich nicht rechtzeitig um eine Anstellung bemühen. Die Betrachtungsweise der Vorinstanz führt zu einer ungerechtfertigen Bevorzugung von Versicherten, die (vorübergehend) eine selbständige Erwerbstätigkeit aufgenommen haben gegenüber jenen, die als Arbeitnehmer tätig waren. Sie ist daher bundesrechtswidrig.
5. 5.1 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vertritt das AWA die Auffassung, für den Beschwerdegegner sei bereits einige Wochen vor der Anmeldung beim RAV voraussehbar gewesen, dass er infolge Ausbleibens von Mandaten und einem damit einhergehenden schlechten Geschäftsgang Leistungen der Arbeitslosenversicherung würde in Anspruch nehmen müssen. Deshalb sei er gehalten gewesen, sich spätestens ab Oktober 2009 genügend um Arbeit zu bemühen. Zu jenem Zeitpunkt sei ihm klar gewesen, dass er zumindest teilzeitlich einer unselbständigen Beschäftigung würde nachgehen müssen.
5.2 Der angefochtene Entscheid enthält zum Einstellungstatbestand und der Dauer der Einstellung keine Feststellungen, weshalb der Sachverhalt letztinstanzlich von Amtes wegen zu ergänzen ist (vgl. E. 1 hievor). Für die Zeit bis zu seiner Anmeldung am 23. November 2009 weist der Beschwerdegegner lediglich zwei Arbeitsbemühungen für den Monat Oktober 2009 nach. Mit dem AWA ist davon auszugehen, dass dieser seine Entscheidung, die Rechtsanwaltskanzlei aufzugeben, und sich für eine unselbständige Beschäftigung zur Verfügung zu stellen, nicht von einem Tag auf den anderen getroffen haben konnte. Naheliegender ist, dass sich der Geschäftsrückgang schon einige Wochen vor der Anmeldung beim RAV abzeichnete. Spätestens anfangs Oktober 2009 dürfte für den Beschwerdegegner daher festgestanden haben, dass er zumindest teilzeitlich einer unselbständigen Erwerbstätigkeit werde nachgehen müssen. Ab diesem Zeitpunkt hätte er sich daher intensiv um eine Anstellung bemühen müssen. Mit nur zwei Arbeitsbemühungen hat er die ihm zumutbaren Möglichkeiten bei der Stellensuche vor Eintritt der Arbeitslosigkeit nicht genügend ausgeschöpft. Demnach hat das AWA zu Recht auf ein pflichtwidriges Verhalten und somit auf das Vorliegen eines Einstellungstatbestandes geschlossen.
5.3 Das AWA setzte die Einstellungsdauer innerhalb des für leichtes Verschulden vorgeschriebenen Rahmens von 1 bis 15 Tagen (<ref-law> in der bis 31. März 2011 in Kraft gestandenen Fassung) auf 7 Tage fest. Dies ist nach Lage der Akten nicht zu beanstanden, da das AWA damit weder sein Ermessen missbraucht, noch unter oder überschritten hat.
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdegegner die Verfahrenskosten zu tragen (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 11. November 2011 aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 9. März 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Hofer