Sachverhalt:
A.
X._ wird vorgeworfen, den damals acht- bis neunjährigen A.A._ und dessen fünf- bis sechsjährigen Bruder B.A._ unsittlich und in sexueller Absicht berührt zu haben, als er an einem nicht mehr bestimmbaren Datum im Jahre 1997 oder 1998 bei der Familie A._ übernachtet hat. Bald nach dem Zubettgehen hätten sich A.A._ und B.A._ abwechslungsweise und in nicht mehr ermittelbarer Reihenfolge zu X._ auf dessen im gemeinsamen Kinderzimmer am Boden liegende Matratze begeben. Anschliessend soll X._ A.A._ von der Schulter ausgehend über den Bauch, den Penis und die Beine gestreichelt haben (Anklagesachverhalt, erster Abschnitt, erster Teil). Von den Berührungen peinlich berührt, sei A.A._ zurück in sein Bett gegangen, während sich B.A._ zu X._ gelegt habe. Diesen habe X._ im Bereich der Schulter und des Bauches berührt und sich an ihn geschmiegt (Anklagesachverhalt, zweiter Abschnitt). Als A.A._ danach ein zweites Mal zu X._ gestiegen sei, habe dieser den in der Zwischenzeit erigierten Penis des Kindes gestreichelt (Anklagesachverhalt, erster Abschnitt, zweiter Teil).
B.
Das Kantonsgericht Schwyz sprach X._ mit Urteil vom 3./4. Juni 2014 in Abweisung von dessen Berufung der sexuellen Handlungen mit Kindern schuldig (Anklagesachverhalt, erster Abschnitt, zweiter Teil). Es bestrafte ihn mit einer bedingten Geldstrafe von 45 Tagessätzen zu Fr. 30.--, unter Anrechnung der zweitägigen Untersuchungshaft. Die Freisprüche des erstinstanzlichen Gerichts in Bezug auf die beiden anderen Anklagevorwürfe erwuchsen unangefochten in Rechtskraft.
C.
X._ beantragt mit Beschwerde in Strafsachen, das kantonsgerichtliche Urteil sei aufzuheben und er von Schuld und Strafe freizusprechen. Die Verfahrenskosten seien auf die Staatskasse zu nehmen und ihm sei eine angemessene Entschädigung auszurichten. Mit Eingabe vom 2. Oktober 2014 ersucht er nachträglich um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren.

Erwägungen:
1.
1.1. Der Beschwerdeführer rügt, die Vorinstanz stelle den Sachverhalt willkürlich fest. Er kritisiert die Beweiswürdigung und macht eine Verletzung der Unschuldsvermutung geltend. Die Vorinstanz berücksichtige nicht, dass Zeugenaussagen oft fehlerhaft und daher prinzipiell kritisch zu würdigen seien. Die Aussagen von A.A._ und B.A._ enthielten verschiedene Unstimmigkeiten. Ersterer leide zudem an einem Aufmerksamkeits-Defizit-Hyperaktivitäts-Syndrom (ADHS) und sei depressiv, weshalb dessen Glaubwürdigkeit bzw. die Glaubhaftigkeit seiner Aussagen äusserst eingeschränkt sei. Die Vorinstanz würdige die ihn entlastenden persönlichen Verhältnisse zu Unrecht nicht zu seinen Gunsten. Dasselbe gelte für die ihm attestierte unbeeinträchtigte kognitive Leistungsfähigkeit und die Tatsache, dass ausser den Aussagen von A.A._ und B.A._ keine Anzeichen für eine pädophile Neigung bestünden.
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich im Sinne von Art. 9 BV ist (<ref-ruling> E. 10.1 S. 445 mit Hinweisen; zum Begriff der Willkür <ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 3.2.5 S. 339; <ref-ruling> E. 7.1 S. 51; je mit Hinweisen) oder wenn sie auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Eine entsprechende Rüge muss klar vorgebracht und substanziiert begründet werden (Art. 106 Abs. 2 BGG; <ref-ruling> E. 3.2 S. 228 mit Hinweisen). Auf eine rein appellatorische Kritik am angefochtenen Urteil tritt das Bundesgericht nicht ein (<ref-ruling> E. 10.1 S. 445; <ref-ruling> E. 4.2.3 S. 5; je mit Hinweisen).
Dem Grundsatz in dubio pro reo kommt als Beweiswürdigungsregel im Verfahren vor Bundesgericht keine über das Willkürverbot von Art. 9 BV hinausgehende Bedeutung zu (<ref-ruling> E. 7 S. 82 mit Hinweisen).
1.3. Die Vorinstanz erwägt, beim Personalbeweis seien die Glaubwürdigkeit der Person und vor allem die Glaubhaftigkeit ihrer Aussagen entscheidend. Der Beschwerdeführer lege nicht dar, inwiefern die Glaubwürdigkeit von A.A._ und B.A._ sowie die Glaubhaftigkeit ihrer Aussagen ernsthaft infrage zu stellen wären. Dass die fraglichen Handlungen im Zeitpunkt der Aussagen bereits über 15 Jahre zurücklagen, spreche für sich allein noch nicht gegen die Angaben von A.A._ und B.A._. Die Aussagen der Ehefrau des Beschwerdeführers, das über ihn eingeholte Gutachten der Psychiatrische Dienste Aargau AG vom 18. Februar 2013 sowie die Tatsache, dass bei ihm kein verbotenes pornografisches Material sichergestellt worden und er nicht vorbestraft sei, führe zu keinen unüberwindbaren Zweifeln an ihren Schilderungen. Schliesslich vermöchten auch das bei A.A._ festgestellte ADHS sowie dessen Depression seine Aussagen nicht infrage zu stellen. Insbesondere sei aufgrund der Akten- und Beweislage weder ersichtlich noch nachvollziehbar, weshalb dieser den Beschwerdeführer nach über 15 Jahren, und obwohl sie keinen Kontakt mehr pflegen, zu Unrecht belasten sollte.
1.4.
1.4.1. Nicht gefolgt werden kann dem Beschwerdeführer, wenn er die Glaubwürdigkeit von A.A._ bzw. die Glaubhaftigkeit seiner Aussagen unter Hinweis auf dessen Depression und das festgestellte ADHS generell anzweifelt.
1.4.2. Nach der Rechtsprechung ist die Prüfung der Glaubhaftigkeit von Aussagen primär Sache der Gerichte (<ref-ruling> E. 4 S. 57; <ref-ruling> E. 2 S. 84 ff. mit Hinweisen). Eine Begutachtung durch eine sachverständige Person drängt sich nur bei Vorliegen besonderer Umstände auf. Dies ist etwa der Fall, wenn bruchstückhafte oder schwer interpretierbare Äusserungen eines Kleinkindes zu beurteilen sind, bei ernsthaften Anzeichen geistiger Störungen, oder wenn konkrete Anhaltspunkte dafür bestehen, dass der Zeuge unter Einfluss von Drittpersonen steht (<ref-ruling> E. 2.4 S. 184; <ref-ruling> E. 2 S. 84 ff.; Urteil 6B_333/2014 vom 22. Oktober 2014 E. 2.1; je mit Hinweisen). Der Verzicht auf den gebotenen Beizug einer Expertise zur Beurteilung schwerwiegender medizinischer oder psychologischer Zweifel an der Glaubhaftigkeit einer Zeugenaussage kann einen Verstoss gegen das Willkürverbot darstellen (<ref-ruling> E. 1c S. 30 ff.; Urteil 6B_333/2014 vom 22. Oktober 2014 E. 2.1; je mit Hinweisen). Dem Sachgericht steht bei der Frage, ob aufgrund der konkreten Umstände eine Begutachtung notwendig ist oder nicht, ein Ermessensspielraum zu (Urteil 6B_441/2013 vom 4. November 2013 E. 6.5.2 mit Hinweis).
1.4.3. Die Vorinstanz berücksichtigt das bei A.A._ festgestellte ADHS sowie dessen Depression, sieht aber keinen Anlass, an dessen Angaben zu zweifeln (Urteil, S. 13 f.). Dies ist nicht zu beanstanden, zumal sein Aussageverhalten keine Anhaltspunkte für Auffälligkeiten liefert, welche eine aussagepsychologische Begutachtung nötig erscheinen liessen. Auch wenn A.A._ an ADHS leidet und depressiv ist, muss dies keine unmittelbaren Folgen für die Glaubhaftigkeit seiner Aussagen haben (vgl. Urteile 6P.240/2006 vom 2. März 2007 E. 3.6; 1P.543/2005 vom 15. November 2005 E. 2.3.2). Nachdem der Beschwerdeführer im vorinstanzlichen Verfahren keinen Antrag auf Begutachtung von A.A._ stellte, war die Vorinstanz aufgrund der konkreten Umstände nicht gehalten, eine solche von Amtes wegen anzuordnen.
1.5.
1.5.1. Was der Beschwerdeführer gegen die vorinstanzliche Beweiswürdigung vorbringt, begründet keine Willkür. Inwiefern die Vorinstanz die Aussagen nicht kritisch gewürdigt haben soll, legt er nicht dar. Diese setzt sich - unter Verweis auf die erstinstanzlichen Erwägungen (Urteil, S. 14) - ausführlich mit den Aussagen des Beschwerdeführers sowie von A.A._ und B.A._ auseinander. Entgegen seiner Ansicht enthalten die Angaben der beiden Brüder in Bezug auf das relevante Geschehen keine Unstimmigkeiten oder Widersprüche. Dass A.A._ angab, der Beschwerdeführer habe nur einmal bei ihnen übernachtet, während B.A._ erklärte, dies sei mehrmals vorgekommen, vermag daran nichts zu ändern. Es handelt sich dabei nicht um eine relevante, den Anklagesachverhalt konkret betreffende Frage. Zudem räumte A.A._ ein, sich diesbezüglich nicht sicher zu sein und es nicht mehr aus eigener Erinnerung zu wissen (kantonale Akten 10.1.02 Rz. 26 S. 8). Die von der Vorinstanz wiedergegebene Aussage von B.A._, wonach er vom Beschwerdeführer nie im Intimbereich berührt worden sei und er eine solche Handlung nicht bestätigen könne, bezieht sich auf ihn selbst und nicht auf den von A.A._ geschilderten Übergriff. Dies scheint der Beschwerdeführer zu verkennen. Weshalb die Brüder in der fraglichen Nacht trotz der unangenehmen Erlebnisse mehrmals die Plätze tauschten und A.A._ sich mindestens zwei Mal zum Beschwerdeführer auf die Matratze begab, ergibt sich nicht aus den Akten. Inwiefern diesem Punkt mit Blick auf die Beweiswürdigung höhere oder gar entscheidende Bedeutung zukommen sollte, legt der Beschwerdeführer indes nicht dar und ist auch nicht ersichtlich.
1.5.2. Die Vorinstanz durfte als Indiz für die Glaubhaftigkeit der Aussagen von A.A._ werten, dass dieser keinen Grund gehabt hat, den Beschwerdeführer zu Unrecht und über 15 Jahre nach dem Übergriff anzuschuldigen. Gleiches gilt für den Umstand, dass A.A._ und B.A._ den Beschwerdeführer nie übermässig belastet haben (vgl. Urteile 6B_839/2013 vom 28. Oktober 2014 E. 2.3 f.; 6B_254/2014 vom 18. August 2014 E. 3.3 f.; 6B_703/2012 vom 3. Juni 2013 E. 8.2.).
Entgegen der Ansicht des Beschwerdeführers erwägt die Vorinstanz sodann nicht sinngemäss, es spreche gegen ihn, dass er A.A._ und B.A._ nie explizit der Lüge bezichtigt habe. Sie stellt dies lediglich fest und kommt im Übrigen zum Schluss, es lägen keine Hinweise vor, wonach diese nicht wahrheitsgemäss ausgesagt hätten (Urteil S. 13 ff.). Die Vorinstanz war nicht gehalten, diesen Umstand zu Gunsten des Beschwerdeführers zu werten.
1.5.3. Die Vorinstanz übersieht auch keine den Beschwerdeführer angeblich entlastende Indizien. Dass B.A._ nach der Tat weiterhin Kontakt zu ihm pflegte, spricht nicht für seine Unschuld. Der Beschwerdeführer war ein enger Freund der Familie und Pate von B.A._, sodass dies nicht aussergewöhnlich erscheint. Letzterer gab zudem zu Protokoll, persönlich über nur wenige Erinnerungen an die fragliche Nacht zu verfügen und erst aufgrund eines Gesprächs mit seinem Bruder im Herbst 2011 erfahren zu haben, was diesem widerfahren sei. In der Folge habe er den Beschwerdeführer mit den Vorwürfen konfrontieren wollen, dies dann aber unterlassen. Umfassende Kenntnisse von den Geschehnissen habe er (B.A._) erst nach dem letzten Treffen mit dem Beschwerdeführer erlangt (kantonale Akten 10.1.01 Rz. 7 S. 3, Rz. 9 S. 4, Rz. 52 S. 11; kantonale Akten 10.1.07 Rz. 42 ff. S. 11 f.). Die Aussage von A.A._, wonach er mit dem Gedanken gespielt habe, den Beschwerdeführer, der nach der Tat für mehrere Jahre in Rumänien lebte, zu besuchen, ist in ihrem Kontext zu sehen. Entgegen dem Vorbringen des Beschwerdeführers kann daraus nicht abgeleitet werden, dass A.A._ die Erfahrung in der fraglichen Nacht nicht als unangenehm empfunden habe, ansonsten er ihn wohl kaum hätte besuchen wollen. So hielt A.A._ fest, er habe den Beschwerdeführer überraschen und wissen wollen, was dieser dort mache. Er habe sich vorgestellt, diesen mit anderen Kindern in flagranti zu ertappen (kantonale Akten 10.1.02 Rz. 50 ff. S. 13). Als abwegig zu bezeichnen ist das Vorbringen des Beschwerdeführers, wonach A.A._ in ihm einen Sündenbock für sein persönliches Scheitern suche. Anhaltspunkte, die diese Annahme stützten, liegen nicht vor.
1.5.4. Nicht bundesrechtswidrig sind sodann die vorinstanzlichen Erwägungen, wonach die Aussagen der Ehefrau des Beschwerdeführers, dessen unbeeinträchtigte kognitive Leistungsfähigkeit und Vorstrafenlosigkeit sowie die Tatsache, dass kein verbotenes pornografisches Material habe sichergestellt werden können, nichts an der Glaubhaftigkeit der Angaben von A.A._ und B.A._ zu ändern vermöchten. Die Vorinstanz weist zu Recht darauf hin, der Beschwerdeführer habe seine Ehefrau erst nach der Tat kennengelernt. Dass diese ihn schätzt und für unschuldig hält, ist für die Beurteilung des Tatvorwurfs sowie die Würdigung der unterschiedlichen Aussagen nicht entscheidend (vgl. Urteil 6B_630/2014 vom 20. Januar 2015 E. 2). Es spielt daher auch keine Rolle, ob die Ehefrau des Beschwerdeführers ein Interesse an einem für diesen möglichst günstigen Prozessausgang hat, oder vielmehr versuchen würde, ihre Kinder zu schützen, wenn sie nicht von seiner Unschuld überzeugt wäre. Aus der dem Beschwerdeführer mit Gutachten vom 18. Februar 2013 attestierten unbeeinträchtigten kognitiven Leistungsfähigkeit lässt sich nichts zu der im Vordergrund stehenden Glaubhaftigkeit seiner Aussagen (vgl. <ref-ruling> E. 4.3 S. 45 mit Hinweisen) ableiten. Der Beschwerdeführer legt denn auch nicht dar, inwiefern dieser Umstand vorliegend von Bedeutung sein sollte. Schliesslich sprechen auch die Tatsachen, dass bei ihm kein verbotenes pornografisches Material sicher- sowie keine sexuelle Störung festgestellt wurde und er keine Vorstrafen aufweist, nicht zwingend gegen die Schilderungen von A.A._ und B.A._ und für die Richtigkeit seiner eigenen Aussagen, wie die Vorinstanz willkürfrei festhält. Dass bei ihm keine pädophile Neigung festgestellt werden konnte und der Beschwerdeführer nicht vorbestraft ist, schliesst die ihm vorgeworfene Tat jedenfalls nicht aus (vgl. Urteil 6B_79/2014 vom 16. Oktober 2014 E. 2.4).
1.6. Zusammengefasst ist nicht ersichtlich, inwiefern der vorinstanzliche Entscheid geradezu willkürlich sein soll, mithin auf einer schlechterdings unhaltbaren oder widersprüchlichen Beweiswürdigung beruhen, mit der tatsächlichen Situation in klarem Widerspruch stehen, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen sollte (vgl. <ref-ruling> E. 7 S. 82; <ref-ruling> E. 2.4 S. 5; <ref-ruling> E. 2.2.2 S. 318 f.; je mit Hinweisen). Dass die Vorinstanz keine Zweifel an der Glaubhaftigkeit der Aussagen von A.A._ und B.A._ hat, ist unter Willkürgesichtspunkten nicht zu beanstanden.
2.
Seine Anträge zu den Verfahrenskosten und der Entschädigung begründet der Beschwerdeführer nicht. Soweit sie sich auf das kantonale Verfahren beziehen, ist darauf nicht einzutreten (vgl. Art. 42 Abs. 1 BGG).
3.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Das nachträgliche Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 BGG). Der Beschwerdeführer hat die bundesgerichtlichen Kosten zu tragen (Art. 66 Abs. 1 BGG). Seine angespannte finanzielle Situation ist bei der Bemessung der Gerichtskosten angemessen zu berücksichtigen (Art. 65 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Opfer und dem Kantonsgericht Schwyz, Strafkammer, schriftlich mitgeteilt.
Lausanne, 9. April 2015
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: M. Widmer