Sachverhalt:
A. H._ und B._ heirateten am 31. Oktober 1997. Am 30. März 2000 tätigte B._ bei seiner Vorsorgeeinrichtung einen Vorbezug von Fr. 20'400.- für den Kauf der ehelichen Liegenschaft zu Gesamteigentum. Nach der Auflösung des gemeinsamen Haushaltes wurde die eheliche Liegenschaft aufgrund einer Parteivereinbarung per 1. Juni 2003 ins Alleineigentum der Ehefrau (H.)_ überführt. Mit Urteil vom 31. Mai 2010, in Rechtskraft erwachsen am 25. Juni 2010, wurde die Ehe vom Gerichtspräsidium Z._ geschieden, mit der Feststellung, dass jede Partei Anspruch auf die Hälfte der für die Ehedauer gemäss Art. 22 f. FZG zu ermittelnden Austrittsleistung der andern Partei hat (Dispositiv-Ziffer 7). In der Folge überwies es gestützt auf <ref-law> die Akten an das Versicherungsgericht des Kantons Aargau.
B. Mit Entscheid vom 3. Mai 2011 wies das Versicherungsgericht des Kantons Aargau die Pensionskasse X._, Vorsorgeeinrichtung von B._, an, von dessen Freizügigkeitsguthaben den Betrag von Fr. 93'252.75 zuzüglich Zins auf eine von H._ noch zu bezeichnende Freizügigkeitseinrichtung zu überweisen.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei seine Vorsorgeeinrichtung anzuweisen, von seinem Guthaben den Betrag von Fr. 62'652.75, eventuell Fr. 72'852.75 zuzüglich Zins auf ein von der Beschwerdegegnerin anzugebendes Freizügigkeitskonto zu überweisen. Mit Eingabe vom 17. Juni 2011 lässt er den Antrag stellen, es sei der Beschwerde die aufschiebende Wirkung zu erteilen und es sei die Vollstreckbarkeit des angefochtenen Entscheides bis zum endgültigen Entscheid aufzuschieben.
H._ lässt auf Abweisung der Beschwerde und auf Nichteintreten auf das Gesuch um aufschiebende Wirkung schliessen. Ferner sei ihr die unentgeltliche Prozessführung und Verbeiständung zu gewähren. Die Pensionskasse, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
D. Mit Verfügung vom 4. Juli 2011 ordnete der Präsident der II. sozialrechtlichen Abteilung an, dass bis zum Entscheid über das Gesuch um aufschiebende Wirkung alle Vollziehungsvorkehrungen zu unterbleiben haben.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. Umstritten ist die Rechtsfrage, ob der Vorbezug vom 30. März 2000 in Höhe von Fr. 20'400.- im Rahmen des Vorsorgeausgleichs zu berücksichtigen ist. Nicht mehr umstritten ist der Teilungszeitpunkt per 25. Juni 2010, das vom kantonalen Gericht für den Teilungszeitpunkt ohne Berücksichtigung des Vorbezugs festgestellte Guthaben von Fr. 175'619.10 und das beim Beschwerdeführer für den Zeitpunkt der Heirat bereits vorhandene, aufgezinste Guthaben von Fr. 9'513.55.
3. 3.1 Das schweizerische Recht unterscheidet im Scheidungsfall die durch das Scheidungsgericht zu beurteilende güterrechtliche und die durch das Berufsvorsorgegericht vorzunehmende vorsorgeausgleichsrechtliche Teilung (<ref-ruling> E. 3.1 S. 59, 132 V 337 E. 3.1 S. 344). Das rechtliche Schicksal des mit dem Vorbezug erworbenen Wohneigentums richtet sich nach Ehegüterrecht (Jacques-André Schneider/Christian Bruchez, La prévoyance professionnelle et le divorce, in: Paquier/Jaquier [Hrsg.], Le nouveau droit du divorce, Lausanne 2000, S. 232; Thomas Sutter/Dieter Freiburghaus, Kommentar zum neuen Scheidungsrecht, Zürich 1999, Art. 122/141-142 Rz. 45, S. 214). Der für den Kauf dieses Wohneigentums verwendete Vorbezug von Vorsorgegeldern wird demgegenüber vorsorgeausgleichsrechtlich geteilt (Art. 30c Abs. 6 BVG [SR 831.40] und <ref-law>). Der während der Ehe getätigte Vorbezug wird daher bei der Berechnung des Vorsorgeausgleichs - soweit noch eine Rückzahlungspflicht (Art. 30d BVG) besteht - zur Austrittsleistung im Zeitpunkt der Rechtskraft der Scheidung hinzugerechnet (<ref-ruling> E. 3.2.3 S. 53, 132 V 337 E. 1.2 und 3.1, 128 V 230 E. 3b S. 235; Andrea Bäder Federspiel, Wohneigentumsförderung und Scheidung, Zürich 2008, S. 268 Rz. 547 und S. 298 Rz. 610 f., mit weiteren Hinweisen). Haben beide Parteien einen Vorbezug getätigt, ist demzufolge bei beiden je dieser Vorbezug zur Austrittsleistung hinzuzuzählen.
3.2 Das kantonale Gericht erwog, im Urteilsdispositiv des Scheidungsgerichts fehle es hinsichtlich des WEF-Vorbezugs von Fr. 20'400.- an einer entsprechenden Bestimmung, wonach dieser bei der Aufteilung nicht zu berücksichtigen sei. Entsprechend gelte er als Freizügigkeitsleistung und sei nach den Art. 122 und 123 ZGB sowie Art. 22 FZG (SR 831.42) zu teilen (Art. 30c Abs. 6 BVG).
3.3 Der Beschwerdeführer bringt vor, er habe als ausgleichspflichtiger Ehegatte, der während der Ehe einen WEF-Vorbezug in Anspruch genommen habe, seinen Anteil an der gemeinschaftlichen Liegenschaft im Zuge der bevorstehenden Scheidung an die ausgleichsberechtigte Beschwerdegegnerin übertragen. Der Ausgleichungsanspruch nach <ref-law> sei dabei aber nicht zugleich mit dieser Übereignung abgegolten worden, da die im Wohneigentum investierten Vorsorgegelder nicht zusammen mit dem Eigentum übertragen worden seien (Hinweis auf Andrea Bäder Federspiel, a.a.O., N. 629 ff.). Einer von der Beschwerdegegnerin in diesem Zusammenhang im Scheidungsverfahren angerufenen Vereinbarung, welche die Parteien am 23. Mai 2003 abgeschlossen hätten, komme diesbezüglich keine Bedeutung zu. Diese Vereinbarung sei vom Scheidungsgericht nicht genehmigt worden. Es komme hinzu, dass der von ihm in Anspruch genommene WEF-Vorbezug gar nie im Grundbuch angemerkt worden sei. Indem das kantonale Gericht diese Tatsache nicht erkannt habe, habe es den Sachverhalt offensichtlich falsch festgestellt. Des Weitern sei zu berücksichtigen, dass die Übertragung der Liegenschaft in das Alleineigentum der Beschwerdegegnerin im vorliegenden Fall eine Veräusserung im Sinne der Wohneigentumsförderung dargestellt hätte, da die Beschwerdegegnerin nicht als vorsorgerechtlich begünstigte Person im Sinne von Art. 30e Abs. 1 Satz 3 BVG gelte und deshalb eine Pflicht zur Rückzahlung der vorbezogenen Mittel bestanden hätte. Auch in dieser Hinsicht habe das kantonale Gericht den Sachverhalt offensichtlich falsch im Sinne von <ref-law> festgestellt und zugleich Art. 30e Abs. 1 BVG verletzt, indem es verkannt habe, dass die Beschwerdegegnerin keine vorsorgerechtlich begünstigte Person sei. Tatsache sei somit, dass der vom Beschwerdeführer getätigte WEF-Vorbezug in der Höhe von Fr. 20'400.- zwar nach wie vor in der von der Beschwerdegegnerin mittlerweile im Alleineigentum gehaltenen Liegenschaft stecke, der Vorbezug aber nicht wie in Art. 30e BVG vorgeschrieben mittels Anmerkung im Grundbuch gesichert sei. Der WEF-Vorbezug sei damit der Vorsorge des Beschwerdeführers faktisch entzogen und die Beschwerdegegnerin könne als Alleineigentümerin ohne Einschränkung über diesen Betrag verfügen. Das kantonale Gericht habe dies nicht erkannt und den Sachverhalt aktenwidrig und damit offensichtlich falsch im Sinne von <ref-law> festgestellt. Aufgrund der dargelegten Ausgangslage sei es unzutreffend und stossend, dass die Vorinstanz den WEF-Vorbezug nicht wie vom Beschwerdeführer geltend gemacht von der Berechnung ausgeklammert habe. Gestützt auf Art. 22 Abs. 2 FZG anzurechnen und in die Teilung einzubeziehen seien nämlich nur jene WEF-Vorbezüge, für die nach wie vor eine entsprechende Anmerkung im Grundbuch bestehe (Hinweis auf SCHNEIDER/GEISER/GÄCHTER, Handkommentar BVG und FZG, Bern 2010, N. 23 zu Art. 22 FZG). Richtigerweise betrage der Anspruch der Beschwerdegegnerin somit nur Fr. 62'652.75 (Fr. 83'052.75 abzüglich Fr. 20'400.-). Sollte der WEF-Vorbezug dennoch gestützt auf Art. 22 Abs. 2 FZG in die hälftige Teilung miteinzubeziehen sein, so ergebe dies einen Betrag von Fr. 186'505.55, welcher hälftig zu teilen sei. Daraus resultiere ein Anspruch zugunsten der Beschwerdegegnerin von Fr. 93'252.75, von welchem nun ein Betrag von Fr. 20'400.- abzuziehen sei, da die Beschwerdegegnerin faktisch über diesen Betrag frei verfügen könne. Der Restübertragungsanspruch der Beschwerdegegnerin betrage demnach Fr. 72'852.75.
3.4 Das kantonale Gericht hat verbindlich festgestellt, dass der WEF-Vorbezug von Fr. 20'400.- nicht Gegenstand des Dispositivs des Scheidungsurteils ist. Dabei ist unbestritten und ergibt sich aus den Akten, dass der Vorbezug nicht im Grundbuch vorgemerkt worden ist und sich die frühere eheliche Liegenschaft im Alleineigentum der Beschwerdegegnerin befindet. Ferner haben die Parteien am 23. Mai 2003 eine Trennungsvereinbarung getroffen, wonach u.a. die vom Beschwerdeführer "für den Kauf der Liegenschaft Y._ verpfändeten (recte: vorbezogenen) BVG-Ansprüche Fr. 20'400.- in der Liegenschaft ohne weitere Anspruchsberechtigung" des Beschwerdeführers verbleiben ebenso wie der von der Beschwerdegegnerin aus dem vorehelich angehäuften Freizügigkeitskonto getätigte Vorbezug von Fr. 21'664.-. Im Scheidungsverfahren war die Frage, ob der Vorbezug des Beschwerdeführers zur Austrittsleistung zu addieren ist, Gegenstand von Diskussionen, namentlich an der Hauptverhandlung vom 22. Oktober 2009 (vgl. Verfügung des Gerichtspräsidiums vom 7. Dezember 2009). Mit Verfügung vom 16. Februar 2010 schlug das Gerichtspräsidium den Parteien vor, vom hälftigen Anspruch an der Austrittsleistung den Betrag von Fr. 20'400.- abzuziehen, da die Beschwerdegegnerin als Alleineigentümerin bei einem späteren Verkauf der Liegenschaft allein am Verkaufserlös berechtigt wird. Da die Beschwerdegegnerin mit diesem Vorschlag nicht einverstanden war, blieb die umstrittene Frage offen und im Scheidungsurteil vom 31. Mai 2010 wurde nur der Teilungsschlüssel festgelegt.
3.5 Damit steht fest, dass das Scheidungsgericht den WEF-Vorbezug von Fr. 20'400.- nicht geregelt und für die Teilung der nach Art. 22 f. FZG zu ermittelnden Austrittsleistung das Verhältnis 50 % zu 50 % angeordnet hat. Da das Vorsorgegericht an diesen Teilungsschlüssel gebunden ist, der WEF-Vorbezug zur Austrittsleistung hinzuzurechnen (<ref-ruling> E. 3.2.3 S. 53 mit Hinweis auf <ref-ruling> E. 3 S. 333) und zu teilen (Art. 30c Abs. 6 BVG; <ref-law>) ist, hat das kantonale Gericht Bundesrecht nicht verletzt. Am Charakter eines WEF-Vorbezugs ändert nichts, dass seinerzeit bei der Auszahlung die Anmerkung im Grundbuch unterblieben ist. Diese hat nicht konstitutive Wirkung, sondern es werden lediglich die Rechtsverhältnisse zur allgemeinen Kenntnis gebracht (SCHNEIDER/GEISER/GÄCHTER, a.a.O., N. 6 zu Art. 30e BVG). Die Rückzahlungsverpflichtung des Beschwerdeführers gegenüber seiner Vorsorgeeinrichtung blieb daher bestehen (Art. 30d Abs. 1 BVG, <ref-law>). Wegen der Übertragung der Liegenschaft, in welche sowohl die Ehefrau wie auch der Ehemann Vorsorgemittel investiert haben, hätte der Beschwerdeführer im Rahmen der güterrechtlichen Auseinandersetzung einen Ausgleich für den von ihm getätigten Vorbezug verlangen und unter Beschreitung des Rechtsweges verfolgen müssen. Individuelle, fallspezifische Umstände scheidungsrechtlicher Natur, die für den Vorsorgeausgleich berücksichtigt werden sollen, sind im Scheidungsprozess zu regeln. Im Scheidungsprozess werden (auch) berufsvorsorgerechtlich die Weichen gestellt, im BVG-Verfahren dann unter Einbezug der involvierten Vorsorgeeinrichtungen die Entscheidungen vollzogen. Auf dieser Konzeption beruht weitgehend die bisherige Rechtsprechung (vgl. z.B. <ref-ruling>). Es ist wichtig, dass die Klärung von Besonderheiten primär im Scheidungsverfahren geschieht (vgl. nunmehr auch Art. 280 und 281 ZPO) und dass die Durchführung des berufsvorsorgerechtlichen Ausgleichs von Interessenüberlegungen und anderen Unwägbarkeiten soweit als möglich freizuhalten ist. Andernfalls wird das Verfahren unpraktikabel und ausufern, kann doch ein geschiedener Ehegatte im Nachhinein immer sagen, er sei im Scheidungsprozess bei wirtschaftlicher Betrachtung ungerecht behandelt worden, was im Vollzugsstadium des Vorsorgeausgleichs nun berücksichtigt werden müsse. Der Grundsatz der hälftigen Teilung wird letztlich praktisch nur durch offenbaren Rechtsmissbrauch und offensichtliche Unbilligkeit eingeschränkt (<ref-ruling>). Mithin ist es nicht Sache des Vorsorgegerichts, die im Rahmen des Scheidungsverfahrens nicht geregelte Frage zu beurteilen, wie bei der Übertragung der ehelichen Liegenschaft auf die Beschwerdegegnerin mit dem Anrechnungswert der Liegenschaft und damit mit dem Vorbezug ehe- und güterrechtlich zu verfahren gewesen wäre.
4. Da in der Hauptsache sogleich entschieden werden kann, ist das Gesuch um aufschiebende Wirkung der Beschwerde gegenstandslos, zumal das Gericht mit Verfügung vom 4. Juli 2011 angeordnet hat, dass bis zum Entscheid über das Gesuch alle Vollziehungsvorkehrungen zu unterbleiben haben.
5. Als unterliegende Partei hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>) und der Beschwerdegegnerin eine Parteientschädigung zu entrichten (<ref-law>). Unter diesen Umständen ist das Gesuch der Beschwerdegegnerin um unentgeltliche Prozessführung und Verbeiständung gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Pensionskasse X._, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. November 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer