Sachverhalt:
A. Die 1968 geborene M._ meldete sich am 16. Januar 2006 wegen depressiver Störungen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Bern nahm in der Folge verschiedene Abklärungen vor und verneinte mit Verfügung vom 8. Januar 2009 einen Rentenanspruch. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. März 2010 gut und wies die Sache zur weiteren Abklärung an die IV-Stelle zurück.
Dr. med. G._ erstattete am 18. August 2010 im Auftrag der IV-Stelle ein psychiatrisches Gutachten und diagnostizierte eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode. Mit Verfügung vom 4. April 2011 verneinte die IV-Stelle bei einem Invaliditätsgrad von 31 % einen Anspruch auf eine Invalidenrente.
B. Die hiegegen eingereichte Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 11. August 2011 teilweise gut, hob die Verfügung vom 4. April 2011 auf und sprach M._ ab November 2005 eine Viertelsrente zu.
C. Mit Beschwerde beantragt die IV-Stelle des Kantons Bern die Aufhebung des vorinstanzlichen Entscheides.
M._ lässt die Abweisung der Beschwerde und die Bestätigung des kantonalen Entscheides beantragen. Das Bundesamt für Sozialversicherungen schliesst sich in seiner Vernehmlassung der Beschwerde an und beantragt Gutheissung der Beschwerde.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_874/2011 vom 20. Januar 2012 E. 2.2).
2. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie der Beschwerdegegnerin ab November 2005 eine Viertelsrente der Invalidenversicherung zusprach.
2.1 Das kantonale Gericht kam in umfassender Würdigung der verschiedenen medizinischen Beurteilungen zum Schluss, das psychiatrische Gutachten des Dr. med. G._ vom 18. August 2010 entspreche den vom Bundesgericht an beweiskräftige medizinische Unterlagen gestellte Anforderungen und es lägen keine Indizien gegen dessen Zuverlässigkeit vor. Es setzte sich auch mit davon abweichenden ärztlichen Beurteilungen auseinander und legte schlüssig dar, weshalb nicht auf diese anderslautenden Einschätzungen abgestellt werden könne. Dies ist unbestritten. Gestützt auf das Gutachten von Dr. med. G._ kam die Vorinstanz zum Schluss, es sei davon auszugehen, dass die Beschwerdeführerin seit November 2005 in ihrer Erwerbstätigkeit zu 50 % und im Haushaltsbereich zu 20 % eingeschränkt sei.
2.2 Das kantonale Gericht führte weiter aus, der psychiatrische Gutachter setze die Arbeitsunfähigkeit von 50 % in Bezug zu einem vollen Arbeitspensum. Da der zwischen 0 und 100 % schwankenden Arbeitsunfähigkeit nur auf diese Weise angemessen Rechnung getragen werde, sei davon auszugehen, dass auch gemessen an einem (von der Versicherten bei guter Gesundheit hypothetisch ausgeübten) Pensum von 80 % eine um 50 % eingeschränkte Arbeitsfähigkeit vorliege (Arbeitsfähigkeit während zwei Tagen pro Woche). Eine Erwerbstätigkeit während zweieinhalb Tagen pro Woche als zumutbar zu erklären, bedeute faktisch, von einer Arbeitsfähigkeit von 62.5 % auszugehen.
2.3 Mit diesen Ausführungen (Arbeitsunfähigkeit von 50 % auch in einem Pensum von 80 %) stellt sich die Vorinstanz in Widerspruch zur Beurteilung im Gutachten von Dr. med. G._, der eine Arbeitsunfähigkeit von 50 % ausdrücklich bezogen auf ein 100 % Pensum bescheinigte.
Das kantonale Gericht verweist für sein Abweichen vom psychiatrischen Gutachten auf die stark schwankende Arbeitsunfähigkeit, der nur auf diese Weise Rechnung getragen werde. Inwiefern allerdings eine schwankende Arbeitsunfähigkeit eine Reduktion der im Gutachten bescheinigten Arbeitsfähigkeit um 10 % zu begründen vermag, ist nicht nachvollziehbar und wird auch nicht weiter begründet. Dr. med. G._ gab dazu an, der Verlauf depressiver Störungen sei naturgemäss schwankend. Über die Jahre gesehen sei jedoch eine mittelgradige depressive Störung anzunehmen, sodass davon ausgegangen werden könne, dass ab November 2005 aus psychiatrischer Sicht eine Arbeitsunfähigkeit von 50 % attestiert werden könne. Der Umstand einer schwankenden Arbeitsunfähigkeit ist bei der gutachterlichen Beurteilung einer Arbeitsunfähigkeit von 50 % bezogen auf ein 100 % somit bereits mitberücksichtigt.
Dr. med. G._ hatte gestützt auf die Anamnese, des ihm vorliegenden Haushaltsabklärungsberichts vom 6. Mai 2008 und aufgrund seiner Ausführungen zu den Einschränkungen der Versicherten im Haushaltsbereich davon Kenntnis, dass die Bestimmung des Invaliditätsgrades voraussichtlich nicht ausschliesslich aufgrund der Einschränkungen im erwerblichen Bereich bei einem 100 % Pensum erfolgen würde. In diesem Zusammenhang ist auch sein ausdrücklicher Hinweis zu sehen, die von ihm bescheinigte Arbeitsunfähigkeit von 50 % beziehe sich auf ein 100 % Pensum, während in ärztlichen Berichten üblicherweise kein Ausführungen dazu gemacht werden bzw. die Einschränkungen der Arbeitsfähigkeit in der Regel ohne Weiteres auf ein Vollzeitpensum bezogen werden (statt vieler: Urteil 9C_648/2010 vom 10. August 2011 E. 3.6.3 mit Hinweisen).
Im Übrigen überschreitet die Vorinstanz ihre Kompetenzen, wenn sie von der Arbeitsunfähigkeitsbeurteilung des Gutachtens mit der erwähnten Begründung abweicht. Die Beurteilung der Arbeitsunfähigkeit und deren Umfang ist ausschliesslich Aufgabe der Ärzte und nicht die der rechtsanwendenden Behörden oder Gerichte (<ref-ruling> E. 4 S. 99; <ref-ruling> E. 4 S. 261 f.; vgl. auch AHI 2002 S. 62, I 82/01 E. 4b/cc).
Das Vorgehen des kantonalen Gerichts steht im klaren Widerspruch zu den medizinischen Akten und ist damit offensichtlich unrichtig. Die unhaltbaren Schlussfolgerungen der Vorinstanz sind dahin gehend zu korrigieren, dass in Übereinstimmung mit dem eingeholten psychiatrischen Gutachten von einer Arbeitsunfähigkeit in sämtlichen Tätigkeiten von 50 % bezogen auf ein 100 % Pensum auszugehen ist.
2.4 Die übrigen Ausführungen der Vorinstanz zur Ermittlung des Invaliditätsgrades, sind unbestritten. Dem vom kantonalen Gericht herangezogenen Valideneinkommen von Fr. 34'560.- ist ein Invalideneinkommen von Fr. 22'209.40 gegenüberzustellen (50 % des LSE-Tabellenlohns von Fr. 44'418.80, statt der von der Vorinstanz berücksichtigten 40 %). Damit resultiert ein Invaliditätsgrad im erwerblichen Bereich von 35.74 %. Im Haushaltsbereich liegt eine Einschränkung von unbestritten 20 % vor. Unter Berücksichtigung der Gewichtung von Haushaltsbereich (20 %) und Erwerbsbereich (80 %) ergibt sich ein Gesamtinvaliditätsgrad von gerundet 33 % (0.8 x 35.74 % + 0.2 x 20 %), womit in Übereinstimmung mit der Verfügung der Beschwerdeführerin vom 4. April 2011 kein Rentenanspruch besteht. In Gutheissung der Beschwerde ist der vorinstanzliche Entscheid daher aufzuheben.
3. Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern vom 11. August 2011 aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Februar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Kathriner