Sachverhalt: A. A.a Das Kreisgericht Obertoggenburg-Neutoggenburg sah es als erwiesen an, dass X._ in (mindestens) drei Fällen jeweils während eines Hafturlaubs zwischen dem 12. September 2004 und dem 2. November 2006 am Wohnort der Familie in B._ die Scheide seiner damals zwei- bis vierjährigen Tochter A._ mit dem Finger und seinem Penis berührte, ihr den Genitalbereich leckte sowie sie dazu brachte, sein Glied zu lecken. A. A.a Das Kreisgericht Obertoggenburg-Neutoggenburg sah es als erwiesen an, dass X._ in (mindestens) drei Fällen jeweils während eines Hafturlaubs zwischen dem 12. September 2004 und dem 2. November 2006 am Wohnort der Familie in B._ die Scheide seiner damals zwei- bis vierjährigen Tochter A._ mit dem Finger und seinem Penis berührte, ihr den Genitalbereich leckte sowie sie dazu brachte, sein Glied zu lecken. A.b Am 11. September 2008 befand das Kreisgericht Obertoggenburg-Neutoggenburg X._ der mehrfachen sexuellen Handlungen mit einem Kind und der mehrfachen Schändung für schuldig. Es sprach, teilweise als Zusatz zum Urteil des Bezirksgerichtes Hinwil vom 12. Mai 2005, eine Freiheitsstrafe von 3 1⁄2 Jahren aus und ordnete eine ambulante, vollzugsbegleitende, deliktsorientierte und rückfallpräventive Massnahme an. B. Das Kantonsgericht St. Gallen wies am 8. Juni 2010 - ausser im Genugtuungspunkt - die Berufung sowie die Anschlussberufung der Staatsanwaltschaft ab. C. Gegen dieses Urteil richtet sich die Beschwerde in Strafsachen des X._. Er beantragt Aufhebung des angefochtenen Urteils und Freispruch, eventualiter Aufhebung und Rückweisung, und es sei ihm die unentgeltliche Rechtspflege zu gewähren. D. In ihrer Beschwerdeantwort beantragt A._ Abweisung der Beschwerde. In seiner Stellungnahme zur Beschwerdeantwort hält X._ an seinen Ausführungen fest. E. Mit Verfügung vom 1. November 2010 gewährte das Bundesgericht A._ die unentgeltliche Rechtspflege und bestellte Rechtsanwältin Dr. Nicole Zürcher Fausch für das bundesgerichtliche Verfahren als Anwältin im Sinne von Art. 64 Abs. 2 BGG.