Sachverhalt: A. Die 1968 geborene M._ meldete sich am 16. Januar 2006 wegen depressiver Störungen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Bern nahm in der Folge verschiedene Abklärungen vor und verneinte mit Verfügung vom 8. Januar 2009 einen Rentenanspruch. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. März 2010 gut und wies die Sache zur weiteren Abklärung an die IV-Stelle zurück. Dr. med. G._ erstattete am 18. August 2010 im Auftrag der IV-Stelle ein psychiatrisches Gutachten und diagnostizierte eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode. Mit Verfügung vom 4. April 2011 verneinte die IV-Stelle bei einem Invaliditätsgrad von 31 % einen Anspruch auf eine Invalidenrente. B. Die hiegegen eingereichte Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 11. August 2011 teilweise gut, hob die Verfügung vom 4. April 2011 auf und sprach M._ ab November 2005 eine Viertelsrente zu. C. Mit Beschwerde beantragt die IV-Stelle des Kantons Bern die Aufhebung des vorinstanzlichen Entscheides. M._ lässt die Abweisung der Beschwerde und die Bestätigung des kantonalen Entscheides beantragen. Das Bundesamt für Sozialversicherungen schliesst sich in seiner Vernehmlassung der Beschwerde an und beantragt Gutheissung der Beschwerde.