Sachverhalt:
A. A.a Am 2. April 2001 fiel die am 8. Juli 1997 geborene (am 11. November 2010 verstorbene) A. X._ in der Umgebung ihres Wohnortes in die Glatt. Sie konnte erst ca. 10 Minuten später aus dem Fluss geborgen werden und erlitt einen anoxischen Hirnschaden (mit Wachkoma, schwerer tetraspastischer zerebraler Bewegungsstörung etc.). Nach diesem Unfall war sie vollständig invalid und auf dauernde Pflege und Betreuung angewiesen.
A.b Am Vormittag des Unfalltages vom 2. April 2001 hielt sich D._ (Beklagte, Beschwerdegegnerin) bei C. X._, der Mutter von A._, auf und trank mit ihr Kaffee. Die damals noch nicht ganz vierjährige A._ spielte mit dem 5-jährigen Sohn der Beklagten, E._, im Freien. B. X._, der Vater von A._, befand sich ebenfalls zu Hause und liess seine Frau wissen, dass er mit einem Kollegen zu einem Baumarkt fahre. Gleichzeitig erklärte die Mutter von A._, dass sie noch rasch einkaufen wolle, wobei A._ ihre Mutter nicht begleiten wollte. Umstritten ist unter den Parteien, wer vorschlug, dass die Beklagte während der Abwesenheit der Eltern auf A._ aufpassen sollte.
A.c Die Beklagte begab sich vor elf Uhr in Begleitung von A._ und ihrem Sohn in ihr in der Nachbarschaft gelegenes Haus zurück und verrichtete Haushaltsarbeiten, während die Kinder A._ und E._ weiterhin draussen spielten, wobei sich aus der Nachbarschaft noch F. Z._ (geboren am 30. Januar 1997) zu ihnen gesellte.
A.d Aufgrund des Unfalls wurde gegen die Beklagte ein Strafverfahren wegen fahrlässiger schwerer Körperverletzung eröffnet. Das Bezirksgericht Bülach sprach sie mit Urteil vom 5. Februar 2003 von diesem Vorwurf frei mit der Begründung, sie habe die nach den Umständen gebotene Sorgfalt beachtet. Das Obergericht des Kantons Zürich bestätigte dieses Urteil am 6. Juli 2004 in der Erwägung, dass der Unfall auch bei gebotener Sorgfalt nicht hätte vermieden werden können.
B. B.a Am 12. Dezember 2006 erhob A. X._ (Klägerin), vertreten durch ihre Eltern, beim Bezirksgericht Dielsdorf Teilklage mit dem Antrag, die Beklagte sei zu verurteilen, ihr eine Genugtuung von Fr. 300'000.-- zu bezahlen.
Das Bezirksgericht hiess die Klage mit Urteil vom 10. August 2009 teilweise gut und verurteilte die Beklagte, der Klägerin eine Genugtuung von Fr. 200'000.-- nebst 5 % Zins seit dem 2. April 2001 zu bezahlen; ausserdem wurde vorgemerkt, dass es sich um eine Teilklage handle und Nachklage vorbehalten sei.
Das Bezirksgericht kam zum Schluss, die Beklagte habe bei der gefälligkeitshalber erfolgten Betreuung von A._ die nötige Sorgfalt nicht walten lassen.
B.b Mit Urteil vom 17. März 2011 wies das Obergericht des Kantons Zürich auf Berufung der Beklagten die Klage der Eltern, die als Erben den Prozess ihrer verstorbenen Tochter übernommen hatten, ab.
Das Obergericht kam mit der ersten Instanz zum Schluss, dass die Beklagte die Betreuung der Klägerin im Sinne einer Gefälligkeit übernommen hatte und daher kein Vertrag zustande gekommen war. Sie erkannte, dass bei einer Schädigung auf Seiten des Gefälligkeitsnehmers die Regeln über die Deliktshaftung anwendbar seien und daher die Klägerin zu beweisen habe, dass sie von der Beklagten zu wenig engmaschig beaufsichtigt worden sei bzw. die Beklagte ihre Sorgfaltspflicht bei der Beaufsichtigung schuldhaft verletzt habe. Beim Massstab der Sorgfaltspflicht ist nach den Erwägungen des Obergerichts zu beachten, dass die Pflichten der hütenden Person nicht weiter gehen können als die der Eltern. Das Obergericht gelangte in Würdigung der Beweise zum Schluss, dass die Klägerin den Hauptbeweis für ihre Behauptung nicht habe erbringen können, wonach die Beklagte die Kinder nicht hinreichend sorgfältig überwacht, diese insbesondere nicht mehr gehört habe, als sie aus der Waschküche ins Haus zurückkehrte.
C. Mit Beschwerde in Zivilsachen beantragen die Eltern von A._ (Beschwerdeführer) dem Bundesgericht, es das Urteil des Obergerichts des Kantons Zürich vom 17. März 2011 sei aufzuheben (Ziffer 1), das Urteil des Bezirksgerichts Dielsdorf vom 10. August 2009 sei vollumfänglich zu bestätigen und die Beschwerdegegnerin sei zu verpflichten, ihnen eine Genugtuung von Fr. 200'000.-- zuzüglich Zins zu 5 % seit 2. April 2001 zu bezahlen.
Sie rügen, die Vorinstanz habe Bundesrecht verletzt, indem sie das Zustandekommen eines Auftrags verneint habe und indem sie den Begriff der Sorgfaltspflichtverletzung falsch angewendet habe. Schliesslich habe die Vorinstanz die Beweise willkürlich gewürdigt, den Sachverhalt unrichtig festgestellt und ihnen das rechtliche Gehör verweigert.
Die Beschwerdegegnerin beantragt in ihrer Vernehmlassung, die Beschwerde sei vollumfänglich abzuweisen und das angefochtene Urteil zu bestätigen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Der angefochtene Endentscheid (<ref-law>) vom 17. März 2011 betrifft eine Zivilsache (<ref-law>) und ist von einem oberen kantonalen Gericht als Rechtsmittelinstanz ergangen (<ref-law>). Die Beschwerdeführer sind mit ihren Anträgen unterlegen (<ref-law>), die vermögensrechtliche Angelegenheit übersteigt den erforderlichen Streitwert (<ref-law>) und die Beschwerde ist fristgerecht eingereicht worden (<ref-law>). Auf die Beschwerde in Zivilsachen ist unter Vorbehalt zulässiger (<ref-law>) und hinreichend begründeter Rügen (Art. 42 Abs. 1 i.V.m. 106 Abs. 2 BGG) einzutreten.
2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise ihrer Ansicht nach zu würdigen gewesen wären. Vielmehr hat sie klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 2.4). Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteil 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 1.4.3) und ebenso wenig auf Vorbringen, die in den tatsächlichen Feststellungen der Vorinstanz keine Stütze finden, ohne dass dazu eine taugliche Sachverhaltsrüge im vorstehenden Sinne substanziiert wird, oder auf Rügen, die auf solchen Vorbringen aufbauen.
Die Beschwerdeführer stellen ihren Rügen zunächst einen Sachverhalt aus ihrer Sicht voran, der von den Feststellungen der Vorinstanz abweicht, ohne dass sie Rügen erheben, welche einen Mangel im Sinne von <ref-law> aufzuzeigen vermöchten. Sie sind damit nicht zu hören und ihre Rügen haben unbeachtet zu bleiben, soweit sie auf dieser abweichenden Sachdarstellung beruhen.
3. Die Beschwerdeführer rügen, die Vorinstanz habe den Sachverhalt in Bezug auf die Frage, ob eine Sorgfaltspflichtverletzung vorliege, in willkürlicher Würdigung der Beweise durch aktenwidrige, unrichtige Sachverhaltsfeststellung und unter Verletzung des rechtlichen Gehörs gemäss <ref-law> festgestellt.
3.1 Der Anspruch auf rechtliches Gehör (<ref-law>) verlangt insbesondere, dass das Gericht die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (<ref-ruling> E. 4.1 S. 88 mit Hinweisen). Der Grundsatz des rechtlichen Gehörs garantiert den betroffenen Personen ein persönlichkeitsbezogenes Mitwirkungsrecht im Verfahren. Sie haben Anspruch auf Äusserung zur Sache vor Erlass des Entscheids, auf Abnahme ihrer erheblichen, rechtzeitig und formrichtig angebotenen Beweise und auf Mitwirkung an der Erhebung von Beweisen oder zumindest auf Stellungnahme zum Beweisergebnis (<ref-ruling> E. 5.1 S. 293; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 2b S. 56). Die Begründung des Entscheids muss zumindest kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt. Dagegen wird nicht verlangt, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (vgl. <ref-ruling> E. 5.2 S. 236; 184 E. 2.2.1 S. 188; je mit Hinweis).
Die Beschwerdeführer rügen als Verletzung von <ref-law>, dass die Vorinstanz ihre unbestritten gebliebenen und rechtsgenüglich behaupteten Vorbringen unbeachtet gelassen habe. Sie verkennen dabei freilich, dass das Gericht ohne Verletzung des rechtlichen Gehörs Vorbringen unbeachtet lassen kann, die es nicht als rechtserheblich erachtet.
3.2 Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei genügt es nicht, wenn sich nur die Begründung des angefochtenen Entscheides als unhaltbar erweist. Eine Aufhebung rechtfertigt sich nur dann, wenn der Entscheid auch im Ergebnis verfassungswidrig ist (<ref-ruling> E. 4.1 S. 133 mit Hinweisen). Rügen betreffend die Beweiswürdigung sind nach Massgabe von <ref-law> zu begründen (<ref-ruling> E. 1.4.3 S. 254 f. mit Hinweisen).
3.2.1 Die Vorinstanz hat den Sachverhalt im angefochtenen Urteil spezifisch in Bezug auf die Sorgfaltspflichtverletzung gewürdigt und sich dabei namentlich mit den Vorbringen der Kläger auseinandergesetzt. Sie hat sich insbesondere mit der Frage auseinandergesetzt, ob die Beklagte, als sie aus der Waschküche getreten sei, die Kinder noch gesehen oder gehört habe. Während das Bezirksgericht zum Schluss gelangte, die Beklagte habe die Kinder in diesem Zeitpunkt zwar nicht mehr gesehen, aber immerhin gehört, stellte die Vorinstanz fest, dass sich diese Frage weder bejahen noch verneinen lasse. Da die Kläger die Beweislast für die entsprechende Tatsache tragen, aus der sie eine Sorgfaltswidrigkeit ableiten, kann der Beklagten nach den Erwägungen der Vorinstanz nicht vorgeworfen werden, dass sie zu diesem Zeitpunkt die Kinder nicht gesucht oder nach ihnen Ausschau gehalten hat, womit eine Sorgfaltspflichtverletzung der Beklagten nicht bewiesen ist.
3.2.2 Die Beschwerdeführer rügen in diesem Zusammenhang, sie hätten sich nicht darauf beschränkt, der Beschwerdegegnerin als Sorgfaltspflichtverletzung vorzuwerfen, dass sie sich im Zeitpunkt, als sie die Waschküche verliess, nicht mehr nach den Kindern umgesehen habe. Sie hätten vielmehr auch geltend gemacht, die Beklagte wäre spätestens ab dem Zeitpunkt, als sie aus der Waschküche trat sowie während der Dauer des gesamten Telefonats hindurch verpflichtet gewesen, die vertraglich zugesicherte Leistung der Beaufsichtigung von A._ zu erbringen. Da die Beschwerdegegnerin nicht bestritten habe, dass sie von dem Zeitpunkt an, als sie sich von der Waschküche ins Haus begeben habe, bis zu dem Zeitpunkt, als sie eine Nachbarin (Frau Z._) am Gartenzaun winken sah, nicht mehr gewusst habe, wo sich die Kinder aufhielten, halten die Beschwerdeführer dafür, die Vorinstanz habe willkürlich den unbestrittenen Sachverhalt bei ihrer Beweiswürdigung ignoriert.
3.2.3 Die Beschwerdeführer verkennen, dass es sich nicht um eine Tatsachenfeststellung, sondern um eine Rechtsfrage handelt, wie "engmaschig" Kinder eines bestimmten Alters in bestimmten Umständen überwacht werden müssen. Sie behaupten aber selbst nicht, dass sie Tatsachen behauptet und zum Beweis verstellt hätten, aus denen sich eine bestimmte Zeitdauer ergeben würde zwischen dem Zeitpunkt, als die Beschwerdegegnerin die Waschküche verliess und dem Zeitpunkt, als sie während der Beantwortung des Telefonanrufs die gestikulierende Nachbarin am Zaun sah. Die Vorinstanz hat die Tatsachen weder offensichtlich unrichtig noch unvollständig festgestellt, wenn sie keine Feststellungen über eine Zeitdauer traf, die gar nicht behauptet wurde.
3.3 Die Vorinstanz hat den Sachverhalt weder offensichtlich unrichtig noch in Verletzung des Rechts im Sinne von <ref-law> festgestellt. Das Bundesgericht hat daher vom Sachverhalt auszugehen, den die Vorinstanz im angefochtenen Urteil festgestellt hat (<ref-law>).
4. Die Beschwerdeführer rügen, die Vorinstanz habe die Abmachung zwischen ihnen und der Beschwerdegegnerin vom 2. April 2001 zu Unrecht als Gefälligkeit und nicht als Auftrag qualifiziert.
4.1 In der Rechtsprechung ist anerkannt, dass auch im Bereich von Arbeitsleistungen unverbindliche Gefälligkeiten vorkommen, die keine Vertragsbindung entstehen lassen. Ob Vertrag oder Gefälligkeit vorliegt, entscheidet sich nach den Umständen des Einzelfalles, insbesondere der Art der Leistung, ihrem Grund und Zweck, ihrer rechtlichen und wirtschaftlichen Bedeutung, den Umständen, unter denen sie erbracht wird und der Interessenlage der Parteien. Für einen Bindungswillen spricht ein eigenes, rechtliches oder wirtschaftliches Interesse der Person, welche die Leistung erbringt, oder ein erkennbares Interesse des Begünstigten an fachkundiger Beratung oder Unterstützung (<ref-ruling> E. 3.2, 116 II 695 E. 2b/bb S. 697 f.).
Die Vorinstanz stellt zutreffend dar, dass die Gefälligkeit im Unterschied zum Vertrag unentgeltlich, uneigennützig und bei Gelegenheit erfolgt, ohne dass eine rechtsgeschäftliche Verpflichtung zur Leistungserbringung besteht (vgl. KRAMER, Berner Kommentar, der Allgemeinen Einleitung in das schweizerische OR, 1986, N. 63 ff.; HONSELL, Schweizerisches Haftpflichtrecht, 4. Aufl. 2005, § 9 N. 38; GAUCH/SCHLUEP/ SCHMID, Schweizerisches Obligationenrecht, Allgemeiner Teil, 9. Aufl. 2008, N. 353a/b; HÜRLIMANN-KAUP, Die privatrechtliche Gefälligkeit und ihre Rechtsfolgen, Diss. Fribourg 1999, S. 6; ENGEL, Traité des obligations en droit suisse, 2. Aufl. 1997, S. 221 f.). Als typisches Beispiel für Gefälligkeiten im täglichen Leben wird das Kinderhüten für eine beschränkte Dauer von zwei Stunden unter Freunden angeführt (HÜRLIMANN-KAUP, a.a.O., S. 83).
4.2 Nach den Feststellungen der Vorinstanz wollten die Beschwerdeführer gleichzeitig wegfahren. Ihre Tochter wollte oder konnte weder mit dem Vater noch der Mutter mitgehen und weder Mutter noch Vater wollten oder konnten sie mitnehmen. Die Beschwerdegegnerin befand sich bei der Beschwerdeführerin und trank mit ihr Kaffee, während ihr fünfjähriger Sohn mit der noch nicht ganz vierjährigen Tochter der Beschwerdeführerin spielte. In dieser Situation erklärte sich die Beschwerdegegnerin bereit, auf die Tochter aufzupassen, während ihre Mutter zum Einkaufen fuhr. Die Vorinstanz hat diese Bereitschaft der Beschwerdegegnerin, die Tochter ihrer Nachbarn für eine beschränkte Zeit zu hüten, zutreffend als Gefälligkeit qualifiziert. Sie hat zutreffend berücksichtigt, dass Grund, Zweck und Interesse ausschliesslich bei den Eltern lagen, die gleichzeitig ihren Wohnort kurzfristig für Besorgungen verlassen und ihre Tochter nicht mitnehmen wollten. Die Gelegenheit, die Tochter unter diesen Umständen für die kurzfristige Abwesenheit der Aufsicht der Beschwerdegegnerin anzuvertrauen, ergab sich aus deren Besuch und dem Umstand, dass die fast gleichaltrigen Kinder miteinander spielten.
4.3 Den Beschwerdeführern kann nicht gefolgt werden, wenn sie aus der Formulierung im angefochtenen Urteil, wonach sich die Parteien "auf das Hüten verständigt" hätten, ableiten wollen, es liege ein Konsens im Sinne von <ref-law> vor. Streitig ist gerade, ob die Verständigung auf eine rechtliche Bindung oder eine Gefälligkeit im Alltag gerichtet war. Dass das Hüten des Kindes definitionsgemäss umfasst, dieses vor Gefahren zu schützen, ist entgegen der Ansicht der Beschwerdeführer zur Abgrenzung der strittigen Frage nicht geeignet. Die Vorinstanz hat vielmehr zutreffend erkannt, dass es die Beschwerdegegnerin als zufällig anwesende Nachbarin und Mutter eines etwa gleichaltrigen Kindes übernahm, die Tochter der Beschwerdeführerin kurzfristig zu beaufsichtigen. Die Beschwerdegegnerin erklärte sich bei Gelegenheit eines nachbarschaftlichen Besuchs aufgrund der kurzfristig entstandenen Situation für eine kurze Zeit zur Beaufsichtigung der Tochter der Beschwerdeführer bereit. Entgegen der Ansicht der Beschwerdeführer ist in diesem Zusammenhang unerheblich, ob die Beschwerdegegnerin in dieser Situation spontan von sich aus die Bereitschaft erklärte, auf das Mädchen aufzupassen, ob sie unter einem gewissen sozialen Druck handelte oder ob sie besonders darum gebeten wurde. Mit ihrer Kritik an einzelnen Formulierungen des angefochtenen Urteils vermögen die Beschwerdeführer die zutreffende Würdigung der Interessenlage durch die Vorinstanz nicht in Frage zu stellen: Das Interesse an der kurzfristigen Betreuung ihrer Tochter durch die Nachbarin und Mutter eines etwa gleichaltrigen Kindes lag auf Seiten der Beschwerdeführer, ohne dass ein direktes eigenes Interesse der Beschwerdegegnerin an dieser Betreuung erkennbar wäre. Die Vorinstanz hat das Verhältnis zutreffend als Gefälligkeit qualifiziert.
5. Die Beschwerdeführer beanstanden sodann, die Vorinstanz habe die Haftung der Beschwerdegegnerin zu Unrecht verneint, weil sie von einem falschen Begriff der Sorgfaltspflichtverletzung ausgegangen sei, wobei es ihrer Ansicht nach keine Rolle spielt, ob eine vertragliche oder deliktische Haftung greife.
5.1 Nach der bundesgerichtlichen Rechtsprechung haftet die Person, welche aus Gefälligkeit eine Leistung erbringt, aus unerlaubter Handlung (<ref-ruling> E. 4 S. 699), während sinngemäss nach den Regeln über die Geschäftsführung ohne Auftrag haftet, wer Nutzen aus der Gefälligkeit zieht (<ref-ruling> E. 4 S. 184, vgl. dazu etwa FELLMANN, HAVE 2003, S. 141; WIEGAND, ZBJV 2004, S. 861 ff.; GAUCH, Bauernhilfe, in: SCHMID/SEILER [Hrsg.], Recht des ländlichen Raums, Luzerner Beiträge zur Rechtswissenschaft, Bd. 11, 2006, S. 191, 215). Dieser Praxis stimmt ein Teil der Lehre zu (vgl. ENGEL, a.a.O., S. 222; wohl auch WIEGAND, a.a.O., S. 864 f.), während ein anderer Teil der Doktrin eine vertragliche oder vertragsähnliche Haftung des Gefälligen befürwortet (vgl. GAUCH/SCHLUEP/SCHMID, a.a.O., N. 1190a; HÜRLIMANN-KAUP, a.a.O., S. 187). Die deliktische Haftung des Gefälligen ist systematisch gerechtfertigt dadurch, dass das Zustandekommen eines Vertrags gerade verneint wird und daher auch keine Vertragspflichten entstehen. Sie ist aber auch sachgerecht. Es trifft zwar zu, dass die leistende Person mit der Gefälligkeit die Verpflichtung übernimmt, bei der Leistungserbringung den Gefälligkeitsnehmer nicht zu schädigen (HÜRLIMANN-KAUP, a.a.O., S. 144). Es ist jedoch nicht erkennbar, inwiefern sich die Art dieser Verpflichtung vom allgemeinen Verbot gemäss <ref-law> unterscheiden soll, niemandem widerrechtlich oder unsittlich schuldhaft Schaden zuzufügen. Dem Umstand, dass der Gefällige auch den Schutz blosser Vermögensinteressen übernehmen kann, ist mit der Anerkennung einer entsprechenden Garantenstellung hinreichend Rechnung getragen (<ref-ruling> E. 4 S. 699, vgl. auch GAUCH/SCHLUEP/SCHMID, a.a.O., N. 1190a mit Hinweisen). Eine Umkehr der Beweislast für das Verschulden des Gefälligen, die mit der Anerkennung einer vertragsähnlichen Haftung verbunden wäre, erscheint dagegen nicht gerechtfertigt. Die vorgebrachten Gründe überzeugen nicht, um die Praxis zu ändern. Vielmehr ist daran festzuhalten, dass der Gefällige nach <ref-law> haftet. Die Vorinstanz hat daher die Haftung der Beschwerdegegnerin zutreffend nach <ref-law> beurteilt.
5.2 Wer Schadenersatz aus <ref-law> beansprucht, hat den Schaden, die widerrechtliche Handlung, den Kausalzusammenhang sowie das Verschulden zu beweisen (<ref-ruling> E. 4.1 S. 130). Ergibt sich die Rechtswidrigkeit aus der Verletzung eines absoluten Rechts (<ref-ruling> E. 5.1 S. 330; <ref-ruling> E. 4.1; <ref-ruling> E. 5b S. 301), so hat die geschädigte Person insbesondere den - für die widerrechtliche Schädigung kausalen - Mangel an objektiv gebotener Sorgfalt zu beweisen (<ref-ruling> E. 4a S. 414, 115 Ib 175 E. 2b S. 181). Die Sorgfaltswidrigkeit ergibt sich aus dem Vergleich des tatsächlichen Verhaltens des Schädigers mit dem hypothetischen Verhalten eines durchschnittlich sorgfältigen Menschen in der Situation des Schädigers (<ref-ruling> E. 2c S. 170 f.; <ref-ruling> E. 2c S. 180, vgl. auch Urteil 4A_22/2008 vom 10. April 2008 E. 3).
Gemäss <ref-law> richtet sich das Mass der Haftung nach der besonderen Natur des Geschäfts und wird insbesondere milder beurteilt, wenn das Geschäft für den Schuldner keinerlei Vorteil bezweckt. Diese systematisch in das Vertragsrecht eingereihte Bestimmung findet a fortiori auch auf Gefälligkeitshandlungen Anwendung, bei denen ein rechtsgeschäftlicher Bindungswille fehlt (HONSELL, a.a.O., § 9 N. 38). Bei Gefälligkeiten ist mithin grundsätzlich von einer verminderten Sorgfaltspflicht auszugehen (THIER, in: Honsell [Hrsg.], Kurzkommentar OR, 2008, N. 7 zu <ref-law>). Es muss in der Regel genügen, dass der Gefällige jene Sorgfalt aufwendet, die er auch in eigenen Angelegenheiten beachtet (sog. eigenübliche Sorgfalt oder diligentia quam in suis). Denn wer im vertragsfreien Raum um eine Gefälligkeit bittet, kann vom Gefälligen nicht verlangen, eine höhere Sorgfalt als die eigenübliche aufzuwenden.
5.2.1 Ein Elternteil wird der Überwachung der Kinder die nach den Umständen gebotene Aufmerksamkeit schenken. Vorliegend ist nach den Feststellungen der Vorinstanz davon auszugehen, dass die drei vier- bis fünfjährigen Kinder im Garten der Beschwerdegegnerin und im unmittelbaren Umfeld der Liegenschaft spielten. Die Beschwerdegegnerin verrichtete Arbeiten im Haushalt und beaufsichtigte die spielenden Kinder in der Weise, dass sie sich hie und da darüber vergewisserte, dass die Kinder sich weiterhin im Umfeld aufhielten und mit ungefährlichen Spielen beschäftigt waren. In dieser Situation wäre lebensfremd anzunehmen, der mit der Aufsicht beschäftige Elternteil schaue in regelmässigen Abständen von 5 oder 10 Minuten bewusst nach den spielenden Kindern, wie dies die Beschwerdeführer in ihrer Beschwerde zum Massstab erheben wollen. Vielmehr ist davon auszugehen, dass die Arbeiten im Haushalt die Aufmerksamkeit des Elternteils zeitweise beanspruchen, so dass diese jeweils in unregelmässigen Abständen unterbrochen werden, um sich zu vergewissern, dass mit den Kindern alles noch in Ordnung ist. Dabei wird der Elternteil eher häufiger ein Auge oder ein Ohr den Kindern widmen, wenn aufgrund ihres Verhaltens mit einer gefährlichen Situation zu rechnen ist, während eher längere Zeit den Haushaltarbeiten gewidmet werden kann, wenn die Kinder in einer ihnen vertrauten Umgebung so beschäftigt sind, dass mit abrupten Ideen konkret nicht gerechnet werden muss. Es kann daher entgegen der Ansicht der Beschwerdeführer, die dem erstinstanzlichen Urteil entspricht, nicht angenommen werden, dass ein Kind im Alter von knapp vier Jahren, das mit zwei ungefähr 5-jährigen Kindern im Garten spielt, in jedem Fall nach maximal fünf Minuten an seinem Standort zu kontrollieren ist.
5.2.2 Die Vorinstanz hat ihrer Entscheidung das Vorbringen der Beschwerdeführer zu Grunde gelegt, dass sich die Beklagte über den Verbleib der Kinder hätte vergewissern müssen, als sie aus der Waschküche in das Haus ging. Die Vorinstanz ist insofern der Ansicht gefolgt, dass ein durchschnittlich aufmerksamer Elternteil in der Situation der Beschwerdegegnerin nach Beendigung der Arbeit mit der Wäsche sich vergewissert hätte, dass die Kinder noch immer im Garten beim oder im Schopf spielten. Während die erste Instanz als erstellt erachtete, dass die Beschwerdegegnerin die Kinder noch hörte, als sie die Waschküche verliess, hat die Vorinstanz dies nicht als nachgewiesen erachtet. Sie hat aber erkannt, dass die Beschwerdeführer die Beweislast für die behauptete Verletzung der Sorgfaltspflicht tragen und dementsprechend mangels Beweises, dass sich die Beschwerdegegnerin sorgfaltswidrig über den Verbleib der Kinder beim Verlassen der Waschküche nicht vergewissert habe, die Folgen der Beweislosigkeit den Beschwerdeführern auferlegt. Damit hat sie keine Bundesrechtsnormen verletzt.
5.2.3 Die Beschwerdeführer bringen unter Berufung auf das erstinstanzliche Urteil vor, die Beschwerdegegnerin habe während 15 Minuten die Kinder weder gesehen noch gehört, nachdem sie sich von der Waschküche ins Haus begeben hatte. Daraus leiten sie ab, die Beschwerdegegnerin habe die Kinder zu wenig engmaschig überwacht.
In ihren Rechtsschriften vor den kantonalen Gerichten haben die Beschwerdeführer die angebliche Sorgfaltswidrigkeit zwar stets auf die gesamte Zeitspanne vom Moment, als die Beschwerdegegnerin in die Wachküche ging, bis zur Entdeckung der gestikulierenden Nachbarin während des Telefongesprächs bezogen. Aus den Sachverhaltsfeststellungen im angefochtenen Urteil ergeben sich aber keine Anhaltspunkte dafür, dass die Beschwerdegegnerin während der - auch nach der Behauptung der Beschwerdeführer höchstens 15 Minuten dauernden - Zeitperiode nach der Rückkehr aus der Waschküche bis zur Wahrnehmung der Nachbarin am Zaun konkreten Anlass gehabt hätte, nach den Kindern zu sehen. Die Vorinstanz hat damit keine Bundesrechtsnormen verletzt, wenn sie auch insofern den Nachweis einer Sorgfaltspflichtverletzung durch die Beschwerdegegnerin, welche für den Unfall kausal gewesen sein könnte, als nicht erbracht ansah.
6. Damit erweist sich die Beschwerde als unbegründet. Sie ist abzuweisen, soweit darauf einzutreten ist.
Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'000.-- werden den Beschwerdeführern (in solidarischer Haftung und intern zu gleichen Teilen) auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren (in solidarischer Haftung und intern zu gleichen Teilen) mit Fr. 7'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. Oktober 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni