Sachverhalt: A. Das Obergericht des Kantons Schaffhausen sprach A._ im Berufungsverfahren am 20. März 2013 vom Vorwurf der Beschäftigung von Ausländerinnen und Ausländern ohne Bewilligung frei und verurteilte ihn wegen mehrfacher qualifizierter Widerhandlungen gegen das Betäubungsmittelgesetz, versuchten Betrugs, Pfändungsbetrugs, Pornografie und Irreführung der Rechtspflege zu fünfeinhalb Jahren Freiheitsstrafe. B. A._ führt Beschwerde in Strafsachen und beantragt sinngemäss, die Sache sei unter Aufhebung des obergerichtlichen Urteils zur ergänzenden Beweiswürdigung an das Kantonsgericht, eventualiter an die Vorinstanz zurückzuweisen. Eventualiter sei er für den Fall eines Sachentscheids des Bundesgerichts wegen mehrfacher qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz zu einer bedingten Freiheitsstrafe von zwei Jahren zu verurteilen und in den übrigen Anklagepunkten freizusprechen. A._ ersucht um unentgeltliche Rechtspflege und Verbeiständung. C. Das Obergericht verweist in seiner Vernehmlassung in erster Linie auf seine Erwägungen im angefochtenen Entscheid. Es stellt keinen Antrag. Die Staatsanwaltschaft des Kantons Schaffhausen beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten ist.