Sachverhalt:
A.
Das Obergericht des Kantons Schaffhausen verurteilte A._ am 10. Dezember 2014 in Bestätigung des erstinstanzlichen Urteils des Kantonsgerichts Schaffhausen wegen versuchter Erpressung zu einer teilbedingten Freiheitsstrafe von 27 Monaten, deren Vollzug es im Umfang von 15 Monaten bedingt aufschob bei einer Probezeit von vier Jahren. Es widerrief den A._ für eine Geldstrafe von 80 Tagesätzen zu Fr. 120.- gewährten bedingten Strafvollzug und verpflichtete ihn unter solidarischer Haftung mit dem anderweitig verurteilten C._ zu Schadenersatz- und Genugtuungszahlungen in Höhe von Fr. 11'229.65 an den Privatkläger B._.
Die hiergegen von A._ erhobene Beschwerde in Strafsachen hiess das Bundesgericht am 28. April 2017 gut und wies die Sache zu neuer Beurteilung an das Obergericht zurück (Urteil 6B_803/2015).
B.
Das Obergericht verurteilte A._ im zweiten Berufungsverfahren am 20. März 2018 erneut wegen versuchter qualifizierter Erpressung zu einer teilbedingten Freiheitsstrafe von 27 Monaten, von der 12 Monate zu vollziehen sind. Hingegen sah es infolge Fristablaufs vom Widerruf der bedingt ausgesprochenen Geldstrafe ab. Zudem bestätigte es die B._ zugesprochenen Schadenersatz- und Genugtuungszahlungen in Höhe von Fr. 11'229.65.
Das Obergericht hält für erwiesen, dass A._ drei aus Serbien stammende Männer (den "Tätowierten/Bata", C._ und [vermutlich] D._) beigezogen hat, um von B._ Geld einzutreiben. B._ sei von den mit Pistolen und einem Messer bewaffneten Mittätern mehrmals geschlagen und mit einer Pistole bedroht worden. Die Täter hätten insgesamt Fr. 15'000.- von B._ verlangt und ihn angewiesen, sämtliches verfügbares Bargeld von zu Hause zu holen und nicht die Polizei zu verständigen, andernfalls seine gesamte Familie umgebracht würde. Zur Geldübergabe ist es nicht gekommen, da die Schwester beim Eintreffen von B._ in der elterlichen Wohnung die Polizei gerufen habe. B._ habe eine Prellung am linken Jochbein sowie am rechten Rippenbogen erlitten und einen Teil seines linken Schneidezahns verloren. Seit dem Vorfall vom 1. November 2011 leide er an einer posttraumatischen Belastungsstörung, chronischen Kopfschmerzen und immer wieder auftretenden Augenschmerzen.
C.
A._ führt Beschwerde in Strafsachen und beantragt sinngemäss, er sei mit einer bedingten Freiheitsstrafe von maximal zwei Jahren zu bestrafen. B._ sei eine Genugtuung von Fr. 1'000.- zuzusprechen und dessen darüber hinausgehende Zivilforderungen seien abzuweisen oder auf den Zivilweg zu verweisen. Eventualiter sei das Urteil des Obergerichts aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. A._ ersucht um unentgeltliche Rechtspflege.
Mit Verfügung vom 3. September 2018 erteilte der Präsident der Strafrechtlichen Abteilung der Beschwerde hinsichtlich der Schadenersatz- und Genugtuungsforderungen von B._ die aufschiebende Wirkung und wies das Gesuch im Übrigen ab.
Das Obergericht, die Staatsanwaltschaft und B._ (nachfolgend zum besseren Verständnis: Privatkläger) schliessen auf Abweisung der Beschwerde (soweit darauf einzutreten sei).
Erwägungen:
1.
1.1. Der Beschwerdeführer wendet sich im Hauptpunkt gegen die Strafzumessung und die Höhe der dem Privatkläger zugesprochenen Genugtuung. Er rügt zusammengefasst, die Strafzumessung der Vorinstanz beruhe auf einer falschen und prozessfehlerhaften Sachverhaltsfeststellung. Die Vorinstanz berücksichtige Tatumstände, die nicht erstellt seien, und stütze sich auf nicht verwertbare Beweise. Gleichzeitig lasse sie entlastende Aussagen und Indizien unberücksichtigt. Zudem verstosse sie gegen die Bindungswirkung des bundesgerichtlichen Rückweisungsurteils.
1.2. Die Vorinstanz erwägt zusammengefasst, die Würdigung der vom Beschwerdeführer und dem Privatkläger anlässlich der zweiten Berufungsverhandlung gemachten Aussagen führe zu keinen neuen Erkenntnissen. Der Beschwerdeführer habe mehrfach widersprüchlich und entgegen der objektiven Beweislage ausgesagt. Das erst an der zweiten Berufungsverhandlung, mithin erst rund fünf Jahre nach der Tat und nach der Rückweisung durch das Bundesgericht abgelegte Teilgeständnis sei offensichtlich taktisch motiviert. Auch wenn der Beschwerdeführer den Anklagesachverhalt in diversen Punkten bestreite, stehe aufgrund der glaubhaften Aussagen des Privatklägers zur Überzeugung des Gerichts fest, dass sich das Geschehen in objektiver und subjektiver Hinsicht wie in der Anklage beschrieben abgespielt habe. Der Privatkläger schildere das Kerngeschehen stimmig und widerspruchsfrei und belaste den Beschwerdeführer nicht zusätzlich. An der Einschätzung änderten auch die anlässlich der zweiten Berufungsverhandlung zutage getretenen Widersprüche in seinen Aussagen nichts, zumal diese nicht das Kerngeschehen beträfen (Hervorhebung durch die Vorinstanz). Soweit der Beschwerdeführer geltend mache, die Aussagen des Privatklägers zu den nach wie vor strittigen Tatabläufen widersprächen denjenigen der Familenangehörigen, sei festzuhalten, dass diese das Tatgeschehen nicht selbst erlebt haben, sondern nur bekundeten, was sie gehört hätten. Auch dass bei der Verhaftung von C._ keine Waffen sichergestellt wurden, sei unbehelflich, da dieser nicht am Tatort, sondern erst später festgenommen worden sei. Es sei erstellt, dass vom Beschwerdegegner Fr. 15'000.- gefordert worden seien (Hervorhebung durch die Vorinstanz). Zugunsten des Beschwerdeführers und in Nachachtung des bundesgerichtlichen Rückweisungsurteils sei davon auszugehen, dass dieser von einem ihm zustehenden Anspruch in Höhe von Fr. 1'000.- ausgegangen sei. Hinsichtlich des von den anderen Familienmitgliedern angeblich geschuldeten Geldes von Fr. 11'000.- habe der Beschwerdeführer gewusst, dass er dieses nicht auf legale Weise vom Privatkläger habe herausverlangen können. Die von ihm erstmals anlässlich der zweiten Berufungsverhandlung angedeutete Solidarhaftung der Familienangehörigen erscheine konstruiert und nachgeschoben, weshalb davon auszugehen sei, dass er im Umfang von Fr. 14'000.- in der Absicht gehandelt habe, sich unrechtmässig zu bereichern.
2.
2.1. Gemäss Art. 47 Abs. 1 StGB misst das Gericht die Strafe nach dem Verschulden des Täters zu. Es berücksichtigt das Vorleben, die persönlichen Verhältnisse sowie die Wirkung der Strafe auf das Leben des Täters (vgl. BGE 141 IV 61 E. 6.1.1 S. 66 f.).
Dem Sachgericht steht bei der Gewichtung der verschiedenen Strafzumessungsfaktoren ein erheblicher Ermessensspielraum zu. Das Bundesgericht greift auf Beschwerde hin in die Strafzumessung nur ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgeblichen Kriterien ausgegangen ist oder wesentliche Gesichtspunkte ausser Acht gelassen bzw. in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (BGE 144 IV 313 E. 1.2).
2.2. Das Bundesgericht legt seinem Urteil grundsätzlich den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG; BGE 144 V 50 E. 4.1 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn diese offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Offensichtlich unrichtig ist eine Sachverhaltsfeststellung, wenn der angefochtene Entscheid unhaltbar ist oder mit der tatsächlichen Situation in klarem Widerspruch steht (BGE 143 IV 500 E. 1.1, 241 E. 2.3.1; je mit Hinweis). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
3.
3.1. Die Vorinstanz verkennt Umfang und Wirkung des bundesgerichtlichen Rückweisungsurteils. Das Bundesgericht hat das erste Berufungsurteil aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen, da die Beweiserhebung und Sachverhaltsermittlung in Teilen prozessfehlerhaft und (damit) unvollständig waren (BGE 143 IV 288 E. 1.4). Die Beweiswürdigung und die darauf basierenden Sachverhaltsfeststellungen des ersten Berufungsurteils können infolge der nicht nur "formellen", sondern auch inhaltlich vollumfänglichen Aufhebung demnach nicht ergänzend oder subsidiär zur Begründung des zweiten Berufungsurteils herangezogen werden. Die vom Bundesgericht im Rückweisungsurteil verlangte persönliche Befragung des Beschwerdeführers und die von der Vorinstanz von Amtes wegen vorgenommene zusätzliche Einvernahme des Privatklägers sind nicht nur Selbstzweck im Hinblick auf eine prozessual ordnungsgemässe und damit verwertbare Beweiserhebung, sondern sie dienen primär Beweiszwecken und der Wahrheitsfindung. Auch wenn nicht ausgeschlossen ist, dass nach den gemäss Art. 389 StPO erforderlichen Beweisergänzungen das Sachgericht zu (weitgehend) identischen Sachverhaltsfeststellungen gelangt, sind die erhobenen Beweise im Rahmen der neu vorzunehmenden Beweiswürdigung neben den bereits erhobenen und verwertbaren Beweisen zu berücksichtigen und zu würdigen. Das Sachgericht hat alle wesentlichen für und gegen den Beschuldigten sprechenden Tatsachen und Beweisergebnisse erschöpfend in einer Gesamtschau zu würdigen. An einer hinreichenden Auseinandersetzung mit dem angefallenen Beweismaterial fehlt es hingegen, wenn das Sachgericht die einzelnen be- oder entlastenden Beweistatsachen zwar erörtert, sie aber isoliert und abschliessend abhandelt, ohne sie in eine Gesamtwürdigung einzustellen, in der ihre Bedeutung im Verhältnis zueinander bewertet wird. Lassen einzelne Indizien für sich betrachtet noch keine Bedenken gegen die Glaubwürdigkeit gemachter Aussagen aufkommen, kann eine Häufung von - jeweils für sich erklärbaren - Fragwürdigkeiten Anlass zu durchgreifenden Zweifeln an ihrer Richtigkeit geben. Es ist rechtsfehlerhaft, wenn der Sachrichter aus einer Mehrzahl von Beweisanzeichen einzelne herausgreift und sich hieraus vorab die Überzeugung von der Schuld oder Unschuld der beschuldigten Person bildet oder wenn er einzelne Indizien aus seinen Überlegungen ausscheidet, weil sie für sich genommen eine Überzeugung von der Schuld oder Unschuld nicht tragen würden. Einer fehlenden Gesamtwürdigung steht eine knappe, nur formelhafte Abwägung ohne substantielle inhaltliche Auseinandersetzung gleich. Einer Gesamtwürdigung bedarf es auch hinsichtlich solcher Umstände, die für oder gegen die Zuverlässigkeit von Angaben eines Zeugen oder der Einlassung der beschuldigten Person sprechen (vgl. zur Aussagewürdigung: BGE 133 I 33 E. 4.3 S. 45; Urteile 6B_1413/2016 vom 26. September 2017 E. 2.6.2; 6B_718/2013 vom 27. Februar 2014 E. 2.5; je mit Hinweisen).
Diesen Anforderungen genügt die Vorinstanz vorliegend nicht oder nur unzureichend. Die Vorinstanz konnte sich nicht darauf beschränken, die neuen Aussagen des Privatklägers isoliert von dessen früheren Einlassungen (sowie den weiteren Beweisen) zu würdigen, um dann festzustellen, dass sie nicht geeignet sind, die bereits im ersten Berufungsurteil "festgestellte" Glaubwürdigkeit in Frage zu stellen. Der Hinweis auf die im ersten, aufgehobenen Berufungsurteil vorgenommene Aussageanalyse, die gerade nicht die ergänzenden Einvernahmen des Beschwerdeführers und des Privatklägers berücksichtigt, ist nicht nur prozessfehlerhaft, sondern auch unverständlich. Die anlässlich der zweiten Berufungsverhandlung gemachten Aussagen enthalten erhebliche Widersprüche zu den zuvor gemachten Einlassungen des Privatklägers und betreffen entgegen der Ansicht der Vorinstanz das "Kerngeschehen" der Tat sowie die vom Beschwerdeführer bestrittenen Abläufe. Wieso die den Aussagen des Privatklägers widersprechenden Einlassungen dessen Vaters und Bruders für die Aussagewürdigung ohne Belang sein sollen, ist nicht ersichtlich. Auch wenn der Umstand, dass bei der Verhaftung von C._ und D._ keine Waffen sichergestellt wurden, für sich nicht geeignet ist, die Glaubwürdigkeit der Aussagen des Privatklägers in Frage zu stellen, gilt dies ebenso für die Einlassungen des Beschwerdeführers. Zudem ist in Erinnerung zu rufen, dass der Beschwerdeführer weder den Anklagesachverhalt widerlegen noch die ursprüngliche Beweiswürdigung des ersten Berufungsurteils erschüttern muss (vgl. Urteile 6B_1213/2017 vom 22. Mai 2019 E. 3.2; 6B_453/2017 vom 16. März 2018 E. 2.2, nicht publ. in: BGE 144 IV 172).
3.2. Darüber hinaus erweisen sich die Erwägungen, mit denen die Vorinstanz im angefochtenen Entscheid eine Bereicherungsabsicht des Beschwerdeführers in Höhe von Fr. 14'000.- begründet, als aktenwidrig und damit offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG. Die Vorinstanz scheint zu übersehen, dass die nach ihrer Ansicht nach konstruiert erscheinende und erst an der zweiten Berufungsverhandlung vom 16. März 2018 nachgeschobene Solidarhaftung der Familienangehörigen für (allfällige) Schulden beim Beschwerdeführer einer der Gründe war, die zur Aufhebung des ersten Berufungsurteils geführt haben. Das Bundesgericht hat im Rückweisungsurteil ausdrücklich darauf hingewiesen, dass auch ein von der Vorinstanz als vermeidbar eingestufter Rechtsirrtum des Beschwerdeführers über eine (Solidar-) Haftung für Schulden anderer Familienmitglieder (vgl. Urteil der Vorinstanz vom 10. Dezember 2014 E. 5.3 S. 28 f.) die Bereicherungsabsicht entfallen lässt, da es sich bei der Bereicherungsabsicht um ein normatives Tatbestandsmerkmal handelt (vgl. Urteile 6B_876/2018 vom 29. Juli 2019 E. 2; 6B_804/2018 vom 4. Dezember 2018 E. 3.1 f.). Anzumerken ist, dass bereits das Kantonsgericht die Bereicherungsabsicht des Beschwerdeführers [implizit] mit einem "unbeachtlichen Verbotsirrtum" begründet und erwogen hatte, es spiele keine Rolle, "ob die Familie des Privatklägers dem Beschuldigten [Beschwerdeführer] mindestens Fr. 15'000.- oder nur noch Fr. 3'000.- schulde (....), da dieser [der Privatkläger] für die Schulden seiner Verwandten nicht einstehen musste".
3.3. Auch die Rügen hinsichtlich der Sachverhaltsfeststellungen, aus denen die Vorinstanz die dem Privatkläger zugesprochene Genugtuungssumme ableitet, sind begründet. Bei den von der Beschwerdegegnerin beim persönlichen Therapeuten des Privatklägers eingeholten Eingaben handelt es sich entgegen der Ansicht der Vorinstanz nicht um ein "amtliches Kurzgutachten" i.S.v. Art. 182 ff. StPO, das den Nachweis für die geltend gemachten gesundheitlichen Probleme und Einschränkungen des Privatklägers zu erbringen vermag. Der Beschwerdeführer rügt zutreffend, dass es bereits an den formellen Anforderungen für die Ernennung des Sachverständigen und die Erteilung des Gutachtenauftrags fehlt. Die Beschwerdegegnerin betitelt das von ihr an den Therapeuten gestellte Auskunftsverlangen selber "nur" mit Arztzeugnis und bittet den Therapeuten lediglich um Beantwortung der ihm unterbreiteten Fragen (kantonale Akten, act. 536 f.). Die (formlose) Anfrage enthält u.a. keinen Hinweis auf die Straffolgen eines falschen Gutachtens gemäss Art. 307 StGB (vgl. Art 184 Abs. 1 lit. f StPO) und dem Therapeuten wurden - soweit ersichtlich - auch nicht die zur Erstellung eines Gutachtens notwendigen Akten und Verfahrensgegenstände übergeben (vgl. Art. 184 Abs. 3 StPO). Darüber hinaus fehlt es dem Psychotherapeuten hinsichtlich allfälliger physischer Beeinträchtigungen wie dauerhafte Kopf- und Augenschmerzen sowie der Ursächlichkeit der Tat für den behaupteten Bluthochdruck an den erforderlichen medizinischen Fachkenntnissen (Art. 183 Abs. 1 StPO). Auch verfügt der persönliche Therapeut des Privatklägers nach gefestigter Rechtsprechung und Lehre aufgrund der engen Patientenbeziehung nicht über die erforderliche Unabhängigkeit und Neutralität wie ein amtlich oder gerichtlich bestellter Gutachter (vgl. Urteile 6B_580/2019 vom 8. August 2019 E. 1.5.1; 6B_1163/2018 vom 14. Dezember 2018 E. 2.4.5; Marianne Herr, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2. Aufl. 2014, N. 39 zu Art. 183 StPO; je mit Hinweisen). Sämtlichen Berichten des Therapeuten kommt somit lediglich die Bedeutung einer der freien Beweiswürdigung unterliegenden Parteibehauptung zu (BGE 141 IV 369 E. 6.2).
Inwieweit der Umstand, dass der Beschwerdeführer Akteneinsicht und die Möglichkeit hatte, Beweisanträge zu stellen, Bedeutung hinsichtlich des Beweiswerts der Berichte haben soll, ist nicht ersichtlich. Der Nachweis der geltend gemachten Zivilforderungen obliegt dem Privatkläger (vgl. Art. 123 und Art. 126 Abs. 2 StPO; Annette Dolge, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2. Aufl. 2014, N. 13, 16 f., 23 und 36 ff. zu Art. 16 StPO). Der Beschwerdeführer hat als beschuldigte Person namentlich das Recht, die Aussage und seine Mitwirkung am Strafverfahren zu verweigern, ohne dass ihm daraus Nachteile erwachsen (vgl. Art. 113 Abs. 1 Satz 2 StPO; BGE 142 IV 207 E. 8.3; Urteile 6B_90/2019 vom 7. August 2019 E. 5.3.2; 6B_1297/2017 vom 26. Juli 2018 E. 3.1, in: SJ, 2019 I 229; je mit Hinweisen). Dass er keine Beweisanträge hinsichtlich der Zivilforderungen gestellt und keine prozessualen Einwände gegen die Befragung des Therapeuten erhoben hat, führt nicht dazu, dass dessen Auskünften Gutachtenqualität zukommt.
3.4. Zusammenfassend ist festzuhalten, dass die Vorinstanz die Beweiswürdigung und Sachverhaltsfeststellungen neu vornehmen muss. Der Hinweis auf die im ersten Berufungsurteil vorgenommene Aussagewürdigung geht fehl, da diese die anlässlich der zweiten Berufungsverhandlung gemachten Einlassungen des Privatklägers und Beschwerdeführers nicht berücksichtigt. Deren Aussagen sind nicht nur isoliert zu betrachten, sondern auch einer Gesamtbetrachtung mit den übrigen Beweisen und Indizien zu unterziehen. Die Eingaben des persönlichen Therapeuten besitzen nicht denselben Beweiswert wie ein von den Strafbehörden eingeholtes Sachverständigengutachten.
Hinsichtlich der weiteren, im vorliegenden Verfahren nicht überprüfbaren Sachverhaltsrügen ist aus verfahrensökonomischen Gründen darauf hinzuweisen, dass beide Berufungsurteile keine Feststellungen zu den angeblich mitgeführten Waffen, insbesondere deren Beschaffenheit und Einsatzfähigkeit, enthalten. Unzutreffend ist hingegen die Rüge, die Vorinstanz habe im ersten Berufungsverfahren lediglich Eventualvorsatz des Beschwerdeführers hinsichtlich der von den Mittätern verübten körperlichen und verbalen Übergriffe bejaht. Im Hinblick auf die Begründung ist jedoch anzumerken, dass im Rahmen der Mittäterschaft lediglich eine Zurechnung der vom gemeinsamen Tatplan getragenen objektiven Handlungen erfolgt, hingegen keine Zurechnung auf subjektiver Ebene.
4.
Die Beschwerde ist begründet. Der Kanton Schaffhausen trägt keine Gerichtskosten (Art. 66 Abs. 4 BGG). Das sinngemässe Gesuch des Privatklägers um unentgeltliche Rechtspflege ist mangels Nachweises seiner Bedürftigkeit abzuweisen. Es rechtfertigt sich jedoch, dem Privatkläger reduzierte Gerichtskosten aufzuerlegen, da er nur in Bezug auf die Genugtuungshöhe am Verfahren teilgenommen und Anträge gestellt hat (Art. 66 Abs. 1 BGG). Der Beschwerdeführer ist vom Kanton Schaffhausen und dem Privatkläger für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG), womit dessen Gesuch um unentgeltliche Rechtspflege gegenstandslos wird. Die Entschädigung ist praxisgemäss seinem Rechtsbeistand auszurichten.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, das Urteil des Obergerichts des Kantons Schaffhausen vom 20. März 2018 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Das Gesuch des Beschwerdegegners 2 um unentgeltliche Rechtspflege wird abgewiesen.
Dem Beschwerdegegner 2 werden Gerichtskosten von Fr. 500.- auferlegt.
3.
Rechtsanwalt Roger Gebhard ist für das bundesgerichtliche Verfahren von Kanton Schaffhausen mit Fr. 2'500. - und vom Beschwerdegegner 2 mit Fr. 500.- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 2. Dezember 2019
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Held