Sachverhalt:
A. Am 2. Dezember 2008 reichte A._ (Beschwerdeführer) beim Gewerblichen Schiedsgericht Basel-Stadt Klage ein und beantragte, die X._ GmbH (Beschwerdegegnerin) sei zu verpflichten, ihm im Rahmen des Mitarbeiterbeteiligungsprogramms Zug um Zug gegen die Bezahlung des Kaufpreises von Fr. 700.-- insgesamt 70 Optionen der Z._ Namenaktie oder wertäquivalente Anteilsscheine ihrer eigenen Unternehmung anzubieten. Eventualiter sei die Beschwerdegegnerin zu verurteilen, dem Beschwerdeführer gegen Bezahlung von Fr. 700.-- Fr. 2'938.70 brutto nebst Zins zu 5% seit dem 1. März 2008 zu entrichten.
Das Gewerbliche Schiedsgericht hiess die Klage mit Urteil vom 1. März 2010 grundsätzlich gut und verurteilte die Beschwerdegegnerin zur Zahlung von Fr. 1'207.05 netto nebst Zins zu 5% seit dem 2. Dezember 2008. Das weitergehende Klagebegehren wies es ab.
Dagegen erhob die Beschwerdegegnerin Beschwerde an das Appellationsgericht des Kantons Basel-Stadt und verlangte die Abweisung der Klage. Mit Urteil vom 19. Januar 2011 hiess das Appellationsgericht die Beschwerde gut und wies die Klage des Beschwerdeführers ab.
B. Am 19. Mai 2011 erhob der Beschwerdeführer Beschwerde in Zivilsachen, eventuell subsidiäre Verfassungsbeschwerde. Er beantragt dem Bundesgericht, das Urteil des Appellationsgerichts sei aufzuheben. Es sei in Bestätigung des Urteils des Gewerblichen Schiedsgerichts Basel-Stadt vom 1. März 2010 die Beschwerdegegnerin zu verurteilen, dem Beschwerdeführer Fr. 1'207.05 netto nebst Zins zu 5% seit 2. Dezember 2008 zu bezahlen.
Mit Eingabe vom 4. Juli 2011 bestritt die Beschwerdegegnerin die Rechtzeitigkeit der Beschwerde und beantragte, das Verfahren sei auf die Frage der Einhaltung der Beschwerdefrist zu beschränken. Auf die Beschwerde sei infolge Nichteinhaltens der Beschwerdefrist nicht einzutreten. Es sei ihr die Frist zur Einreichung der uneingeschränkten Vernehmlassung bis zum Entscheid über die Einhaltung der Beschwerdefrist abzunehmen.
Mit Präsidialverfügung vom 6. Juli 2011 wurde der Vorinstanz und der Beschwerdegegnerin die Frist zur Einreichung einer allfälligen Vernehmlassung abgenommen. Ferner wurde dem Beschwerdeführer und der Vorinstanz Gelegenheit eingeräumt, sich zur Eingabe der Beschwerdegegnerin vom 4. Juli 2011 zu äussern.
Daraufhin erklärte die Vorinstanz, dass sie aufgrund der eingereichten Zustellungsbelege der Ansicht sei, die Beschwerde sei verspätet eingereicht worden. Der Beschwerdeführer vertrat in seiner Antwort vom 25. Juli 2011 das Gegenteil, wobei er ausführlich schilderte, wie sich die Zustellung des Appellationsgerichtsurteils zugetragen habe. Unter anderem berief er sich dabei auf Frau B._ von der "Poststelle Q._" und auf C._ (damals Volontär beim Rechtsvertreter des Beschwerdeführers), die als Zeugen anzuhören seien. Die Eingabe des Beschwerdeführers vom 25. Juli 2011 wurde der Vorinstanz und der Beschwerdegegnerin zur Stellungnahme zugestellt. Am 17. August 2011 bzw. 30. September 2011 reichten die Vorinstanz und die Beschwerdegegnerin ihre Stellungnahmen ein. Dazu äusserte sich der Beschwerdeführer in einer weiteren Eingabe vom 18. Oktober 2011, worauf die Beschwerdegegnerin am 7. November 2011 antwortete. Beide Parteien hielten an ihrer Sachdarstellung und ihrer Ansicht fest.
In Anbetracht dieses Schriftenwechsels wurde mit Präsidialverfügung vom 3. Januar 2012 ein Beweisverfahren zur Frage der Rechtzeitigkeit der Beschwerde eröffnet.
Das Bundesgericht liess durch das Zivilgericht Basel-Stadt Frau B._ von der Poststelle Q._ als Zeugin einvernehmen und zog die beiden im Zusammenhang mit der Zustellung des angefochtenen Urteils des Appellationsgerichts erfolgten Abholungseinladungen der Post bei. Das Protokoll der am 19. September 2012 durchgeführten Zeugenbefragung wurde den Parteien zugestellt, die sich zu den darin festgehaltenen Aussagen der Zeugin äussern konnten.
Erwägungen:
1. Vorab ist über die Frage der Rechtzeitigkeit der Beschwerde vom 19. Mai 2011 zu entscheiden. Dabei ist einzig umstritten, an welchem Tag für den Beschwerdeführer die Frist für die Einlegung der Beschwerde an das Bundesgericht zu laufen begann.
Die Beschwerde gegen einen Entscheid ist innert 30 Tagen nach der Eröffnung der vollständigen Ausfertigung beim Bundesgericht einzureichen (Art. 100 Abs. 1 BGG). Eine Mitteilung, die nur gegen Unterschrift des Adressaten oder einer anderen berechtigten Person überbracht wird, gilt spätestens am siebenten Tag nach dem ersten erfolglosen Zustellungsversuch als erfolgt (Art. 44 Abs. 2 BGG). Danach gilt eine eingeschriebene Sendung, soweit der Adressat bei einer versuchten Zustellung nicht angetroffen und daher eine Abholungseinladung in seinen Briefkasten oder sein Postfach gelegt wird, in jenem Zeitpunkt als zugestellt, in welchem sie auf der Post abgeholt wird; geschieht dies nicht innert der Abholfrist, welche sieben Tage beträgt, so gilt die Sendung (fiktiv) als am letzten Tag dieser Frist zugestellt (Zustellungsfiktion; vgl. BGE 134 V 49 E. 4 S. 51 f.; 130 III 396 E. 1.2.3 S. 399; 127 I 31 E. 2a/aa; je mit Hinweisen).
2. Aufgrund des Beweisverfahrens sind folgende Tatsachen erstellt:
Am 24. März 2011 wurde die Abholungseinladung in das Postfach des Rechtsvertreters des Beschwerdeführers gelegt mit Frist zur Abholung bis 31. März 2011.
Die Abholungseinladung umfasste drei Sendungen, darunter eine Gerichtsurkunde, mithin das Urteil des Appellationsgerichts vom 19. Januar 2011.
Herr C._ (Volontär des Büros des Rechtsvertreters des Beschwerdeführers), der zur Abholung der Post beauftragt war, gab die Abholungseinladung am Schalter ab. Der Postangestellte händigte ihm indes nur zwei Sendungen aus, nicht aber das Urteil des Appellationsgerichts, was Herr C._ nicht bemerkte.
Die Abholungseinladung, auf welcher alle drei Sendungen vermerkt waren, wurde nicht wieder ins Postfach gelegt. Bei Ablauf der siebentägigen Abholfrist wurde am 31. März 2011 eine neue Abholungseinladung ("II. Avis") für die nicht abgeholte Sendung in das Postfach gelegt mit Abholfrist bis 7. April 2011.
Am 4. April 2011 wurde das Urteil des Appellationsgerichts abgeholt.
Der Beschwerdeführer steht auf dem Standpunkt, das Urteil sei am 4. April 2011 zugestellt worden. Diesfalls wäre die Beschwerde vom 19. Mai 2011 unter Berücksichtigung des Fristenstillstandes über Ostern (Art. 46 Abs. 1 lit. a BGG) rechtzeitig erhoben worden. Demgegenüber vertritt die Beschwerdegegnerin die Ansicht, mangels Abholung der Sendung innerhalb der siebentägigen Abholfrist gemäss erster Abholungseinladung, greife die Zustellungsfiktion nach Art. 44 Abs. 2 BGG. Die fristauslösende Zustellung sei somit am 31. März 2011 erfolgt, so dass die Beschwerde verspätet eingereicht worden sei.
3. 3.1 Die Einladung zur Abholung des Urteils des Appellationsgerichts wurde am 24. März 2011 in das Postfach des Rechtsvertreters des Beschwerdeführers gelegt. Das Urteil wurde innert der siebentägigen Abholfrist nicht abgeholt. Damit sind die Tatsachen für die Zustellungsfiktion nach Art. 44 Abs. 2 BGG gelegt. Es fragt sich einzig, ob der Umstand etwas daran ändert, dass der Volontär des Rechtsvertreters die Abholungseinladung zwar am Postschalter abgab, der Postangestellte ihm versehentlich jedoch nur zwei der zur Abholung avisierten Sendungen aushändigte, was der Volontär wiederum nicht bemerkte.
3.2 Dabei ist vorweg festzuhalten, dass das Verhalten der Hilfsperson eines Rechtsanwalts im Hinblick auf fristauslösende Handlungen diesem und der von ihm vertretenen Partei vorbehaltlos zuzurechnen ist (BGE 114 Ib 67 E. 2c S. 70 f.; 111 II 504 E. 3a; Urteil 2C _82/2011 vom 28. April 2011 E. 2.3, in: StR 66/2011 S. 698). Das Verhalten des Volontärs, den der beschwerdeführerische Rechtsvertreter mit der Abholung der Post beauftragte, ist demnach letzterem und auch dem Beschwerdeführer zuzuschreiben.
3.3 Wie der Beschwerdeführer selber zugesteht, gehört es zu den anwaltlichen Pflichten, eingeschriebene Sendungen während der Abholfrist entgegenzunehmen. Dieser Pflicht ist der Volontär nicht ordnungsgemäss nachgekommen. Er gab zwar die Abholungseinladung am Schalter ab, kontrollierte jedoch nicht, ob er alle zur Abholung avisierten Sendungen erhalten hat. Entgegen der Meinung des Beschwerdeführers war er zu einer solchen Kontrolle verpflichtet. Es kann ihn nicht entlasten, dass auch der Postangestellte einen Fehler machte, indem er ihm versehentlich nicht von sich aus alle drei Sendungen übergab. Die Post als Hilfsperson des absendenden Appellationsgerichts ist der Zustellungspflicht grundsätzlich nachgekommen, indem sie die Abholungseinladung in das Postfach legte und das Urteil zur Abholung avisierte. Wohl wird die Post darüber hinaus dem Empfänger aufgrund der Vorweisung der Abholungseinladung normalerweise alle darauf vermerkten Sendungen übergeben. Wenn sie dies einmal versehentlich nicht tut, bedeutet dies aber nicht, dass die ins Postfach gelegte Abholungseinladung mit der darauf vermerkten Abholfrist unter Zustellungsaspekten einfach als inexistent zu betrachten wäre. Vielmehr darf jedenfalls von einem Rechtsanwalt erwartet werden, dass er überprüft, ob er alle zur Abholung avisierten Sendungen erhalten hat. Der Volontär hätte mithin prüfen müssen, ob ihm alle drei auf der Abholungseinladung vermerkten Sendungen übergeben worden sind.
Dass dies vorliegend nicht zutraf, hätte der Volontär überdies mit wenig Aufwand leicht bemerken können, zumal mit nur drei Sendungen eine überblickbare Anzahl Sendungen auf der Abholungseinladung für den Rechtsvertreter des Beschwerdeführers vermerkt war. Die Kontrolle war somit ohne weiteres auch zumutbar. Zudem hätte dem Volontär umso mehr auffallen müssen, dass er das Urteil des Appellationsgerichts nicht erhalten hat, als auf der Abholungseinladung nebst zwei Briefsendungen auch eine Gerichtsurkunde zur Abholung angekreuzt war, er jedoch keine Gerichtsurkunde ausgehändigt erhielt. Er ist somit seiner Pflicht zur Entgegennahme eingeschriebener Sendungen während der Abholfrist nicht ordnungsgemäss nachgekommen, und es besteht kein Grund, die Zustellungsfiktion nach Art. 44 Abs. 2 BGG nicht eintreten zu lassen.
3.4 Namentlich spielt auch keine Rolle, dass die erste Abholungseinladung vom Postangestellten abgelegt und nicht wieder in das Postfach des Rechtsvertreters des Beschwerdeführers gelegt worden ist. Entscheidend ist vielmehr, dass der Volontär die ins Postfach gelegte Abholungseinladung entgegennahm und somit effektiv zur Kenntnis nehmen konnte, dass drei Sendungen, darunter eine Gerichtsurkunde, zur Abholung avisiert waren. Er hatte dazu entgegen der Behauptung des Beschwerdeführers die vollen sieben Tage der Abholfrist zur Verfügung. Er ist jedoch dieser Abholungseinladung in Bezug auf das Urteil des Appellationsgerichts nicht ordnungsgemäss nachgekommen. Die blosse Abgabe am Schalter ohne Kontrolle, ob er alle drei Sendungen erhalten hat, genügte - wie ausgeführt (E. 3.3) - nicht.
3.5 Ein strenger Massstab rechtfertigt sich vorliegend auch deshalb, weil dem Rechtsanwalt des Beschwerdeführers bei Erhalt der nach unbenütztem Ablauf der Abholfrist am 31. März 2011 ausgestellten Abholungseinladung hätte auffallen müssen, dass es sich dabei um eine zweite Abholungseinladung handelte, steht doch gross "II. Avis" darauf. Da ihm auch die Vorschrift bekannt sein musste, dass die Zustellungsfiktion nach Art. 44 Abs. 2 BGG an den ersten erfolglosen Zustellungsversuch anknüpft, hätte es die anwaltliche Sorgfaltspflicht geboten, die Umstände des ersten Zustellungsversuchs abzuklären und sich nicht einfach darauf zu verlassen, dass die Entgegennahme aufgrund der zweiten Abholungseinladung am 4. April 2011 der massgebende Zustellzeitpunkt sei. Hätte er die entsprechenden Abklärungen getätigt und dabei festgestellt, dass die Zustellungsfiktion aufgrund des ersten erfolglosen Zustellungsversuchs am 31. März 2011 eintrat, hätte er bei Entgegennahme des Urteils des Appellationsgerichts am 4. April 2011 unter Berücksichtigung der Vorschriften von Art. 45 Abs. 1 und Art. 46 Abs. 1 lit. a BGG (s. E. 3.7) immer noch 42 Tage Zeit gehabt, um die Beschwerde abzufassen.
3.6 Die bundesgerichtliche Rechtsprechung hat auch in anderem Zusammenhang eine gewisse Strenge in Bezug auf die anwaltlichen Pflichten bei der Entgegennahme eingeschriebener Sendungen walten lassen, ohne dass mitwirkende Fehler der Postangestellten hätten entlastend wirken können. So ist es nicht überspitzt formalistisch, die Zustellungsfiktion unabhängig von der postalischen Abholfrist eintreten zu lassen, auch wenn diese ohne Veranlassung durch den Empfänger von der Post spontan oder irrtümlich verlängert wird (BGE 127 I 31 E. 2b S. 34 f.; Urteil 4A_704/2011 vom 16. Januar 2012 E. 3.4 mit Hinweisen).
3.7 Nach dem Gesagten gilt als fristauslösende Zustellung somit der 31. März 2011 (Art. 44 Abs. 2 BGG). Die Beschwerdefrist begann am 1. April 2011 zu laufen (Art. 44 Abs. 1 BGG) und endete - unter Berücksichtigung des Fristenstillstandes nach Art. 46 Abs. 1 lit. a BGG - am 15. Mai 2011 bzw. - da dieser ein Sonntag war - am 16. Mai 2011 (Art. 45 Abs. 1 BGG). Die Beschwerde vom 19. Mai 2011 wurde drei Tage später eingereicht und ist damit verspätet. Demzufolge ist auf die Beschwerde nicht einzutreten.
4. Entsprechend dem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 68 Abs. 2 BGG). Bei der Festsetzung der Gerichtsgebühr und der Parteientschädigung ist dem Umstand Rechnung zu tragen, dass nur die Frage der Rechtzeitigkeit der Beschwerde zu entscheiden und der Schriftenwechsel auf diese Frage beschränkt war.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 400.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 13. Februar 2013
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Corboz
Der Gerichtsschreiber: Widmer