Sachverhalt:
A.
A.a. A._, geboren 1969, war von 1. Mai 2017 bis 31. Mai 2019 bei der B._ AG und der C._ AG als Aussendienstmitarbeiter angestellt. Gemäss Arbeitsvertrag vom 27. März 2017 wurden ihm monatlich ein Fixum, eine Bestandeszuwachsprovision, eine Spesenpauschale sowie ein Provisionsvorschuss ausgerichtet. An den Provisionsvorschuss wurden die jeweils erzielten Provisionen angerechnet. Weiter wurde vereinbart, dass ein allfälliger Überschuss Ende Jahr ausbezahlt werde und bei einem allfälligen Minussaldo bei Auflösung der Beschäftigung dieser Betrag zurückzuzahlen sei. A._ kündigte das Arbeitsverhältnis per 31. Mai 2019, da ihm das Fixum und die Bestandeszuwachsprovision im Februar 2019 gekürzt sowie der Provisionsvorschuss per 1. Mai 2019 gestrichen worden waren.
A.b. Am 7. Juni 2019 stellte A._ bei der Arbeitslosenkasse des Kantons Schaffhausen den Antrag auf Arbeitslosenentschädigung. Mit Verfügung vom 20. Juni 2019, bestätigt mit Einspracheentscheid vom 5. August 2019, setzte die Arbeitslosenkasse den versicherten Verdienst auf Fr. 3727.- fest. Infolge Antritts einer neuen Stelle per 1. September 2019 meldete sich A._ am 20. August 2019 per 31. August 2019 bei der Arbeitslosenkasse ab.
B.
Das Obergericht des Kantons Schaffhausen wies die gegen die Verfügung erhobene Beschwerde mit Entscheid vom 10. Dezember 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und sein versicherter Verdienst auf Fr. 5082.30 festzusetzen.
Arbeitslosenkasse und das Staatssekretariat für Wirtschaft (SECO) verzichten auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Die Sachverhaltsfeststellung und Beweiswürdigung der Vorinstanz ist nicht schon dann offensichtlich unrichtig (willkürlich), wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es genügt somit nicht, dass eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Willkür liegt insbesondere vor, wenn die Vorinstanz offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder solche grundlos ausser Acht gelassen hat (Urteil 8C_89/2019 vom 19. Juni 2019 E. 2.2 mit Hinweis).
In Bezug auf die vorinstanzliche Sachverhaltsfeststellung und Beweiswürdigung gilt eine qualifizierte Rügepflicht. Diesbezügliche Mängel sind in der Beschwerde klar und detailliert aufzuzeigen. Auf ungenügend begründete Rügen oder blosse appellatorische Kritik am angefochtenen Entscheid, womit lediglich die eigene Sichtweise wiedergegeben wird, wie die Akten tatsächlich zu würdigen und welche rechtlichen Schlüsse daraus zu ziehen seien, tritt das Bundesgericht nicht ein (<ref-ruling> E. 1.4 S. 176; <ref-ruling> E. 5.1 S. 356; Urteil 8C_89/2019 vom 19. Juni 2019 E. 2.2).
2.
Streitig ist der versicherte Verdienst des Beschwerdeführers.
3.
Das kantonale Gericht erwog, gestützt auf den Arbeitsvertrag und die Entschädigungsordnung für Kundenberater habe der Versicherte einen Minussaldo des Provisionskontos spätestens bei Auflösung des Arbeitsverhältnisses zu begleichen. Die Rückzahlung der ausstehenden Provisionsschuld sei bei Auflösung des Arbeitsverhältnisses fällig geworden. Gemäss der Lohnabrechnung vom Mai 2019 habe auf dem Provisionskonto ein Minussaldo von Fr. 20'714.15 bestanden. Bei den Akten finde sich ein Darlehensvertrag zwischen dem Versicherten und dem Generalagenten in der Höhe von Fr. 20'000.-. Mit Lohnausweis für das Jahr 2018 bestätige der Arbeitgeber dem Versicherten einen Bruttolohn von Fr. 67'800.- ausbezahlt zu haben. Zwar treffe es zu, dass dem Versicherten monatlich Provisionsvorschüsse von Fr. 3900.- bezahlt worden seien, gleichzeitig seien aber ein Provisionskonto geführt und die Vorschüsse mit den erzielten Provisionen verrechnet worden. Aus den Lohnabrechnungen für die vorliegend massgebliche Zeit von Juni 2018 bis Mai 2019 sei ersichtlich, dass der Versicherte in keinem Monat die Voraussetzungen für eine Provision in der bevorschussten Höhe von Fr. 3900.- erreicht habe, so dass bis zu seinem Austritt ein Minussaldo zu Gunsten des Arbeitgebers von Fr. 20'714.15 aufgelaufen sei. Dies werde vom Versicherten auch nicht bestritten, ebenso wenig seine Rückzahlungspflicht. Die Provisionsvorschüsse seien von Anfang an unter dem Vorbehalt der effektiv erwirtschafteten Provision gestanden. Im übersteigenden Betrag handle es sich somit nicht um massgebenden Lohn im Sinne der Arbeitslosenversicherung. Bezüglich der nicht realisierten Provisionsvorschüsse fehle es bereits am Lohnanspruch, weshalb auch kein versicherter Lohnausfall vorliege. Daran ändere nichts, dass die Arbeitgeberin sämtliche Zahlungen sozialversicherungsrechtlich abgerechnet habe. Die Vorschüsse würden nicht zu massgebendem Lohn, nur weil der Arbeitgeber die Rückzahlung nicht in der konkreten Abrechnungsperiode veranlasse. Auch der Lohnausweis bilde nur ein Indiz für eine tatsächliche Lohnzahlung. Die Arbeitgeberin werde die zu viel bezahlten Sozialversicherungsbeiträge mit der Ausgleichskasse abzurechnen haben. Der versicherte Verdienst bemesse sich somit nach dem effektiv erzielten Durchschnittseinkommen der letzten sechs Beitragsmonate und belaufe sich gerundet auf Fr. 3727.-.
4.
4.1. Als versicherter Verdienst nach <ref-law> (SR 837.0) gilt der im Sinne des AHVG (SR 831.10) massgebende Lohn, der während eines Bemessungszeitraums aus einem oder mehreren Arbeitsverhältnissen normalerweise erzielt wurde, eingeschlossen die vertraglich vereinbarten regelmässigen Zulagen, soweit sie nicht Entschädigung für arbeitsbedingte Inkonvenienzen darstellen; d.h. der versicherte Verdienst knüpft an die Definition des massgebenden Lohnes nach <ref-law> an (<ref-ruling> E. 3.2 S. 533 und 4.1.2 S. 534). Es kommt damit nicht darauf an, ob es sich um Erwerbseinkommen handelt, sondern darauf, ob dieses Einkommen im Sinne von <ref-law> massgebender Lohn ist (Thomas Nussbaumer, Arbeitslosenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 3. Aufl. 2016, Rz. 364 S. 2375). Massgeblich für die Ermittlung des versicherten Verdienstes sind die tatsächlichen Lohnbezüge, nicht die arbeitsvertraglich festgelegten Löhne (139 V 50 E. 2.1 S. 51; <ref-ruling> E. 3.2.3 S. 451; <ref-ruling> E. 3a/aa S. 190; <ref-ruling>). Provisionen, die für die im massgeblichen Bemessungszeitraum ausgeübte Tätigkeit geschuldet sind, sind massgebender Lohn (<ref-law>, SR 831.101) und demnach bei der Ermittlung des versicherten Verdienstes zu berücksichtigen. Zum Lohn gehören auch die vertraglich vereinbarten und tatsächlich ausbezahlten regelmässigen Zahlungen wie 13. Monatslohn, Treueprämien, Orts- und Teuerungszulagen, Gratifikation ohne Rücksicht auf ihre Klagbarkeit sowie gesetzlich geschuldete Inkonvenienzentschädigungen (Nussbaumer, a.a.O., Rz. 365 S. 2376).
4.2. Es ist unbestritten, dass die Arbeitgeberin dem Versicherten in den letzten sechs Monaten Fr. 31'730.40 resp. in den letzten zwölf Monaten Fr. 66'560.10 ausbezahlt und sozialversicherungsrechtlich abgerechnet hat (vgl. die Lohnabrechnungen von Juni 2018 bis Mai 2019 sowie die Lohnausweise 2017 und 2018). Hingegen verweist der Versicherte zu Recht darauf hin, dass er den Darlehensvertrag über Fr. 20'000.- nicht unterzeichnet hat (vgl. dazu auch den Vermerk im Antrag auf Arbeitslosenentschädigung), so dass die Feststellung der Vorinstanz, er akzeptiere die Rückzahlungsschuld, aktenwidrig und offensichtlich unzutreffend ist. Aus den Akten ergeben sich denn auch keine Anhaltspunkte dafür, dass die Arbeitgeberin weitergehende Schritte zur Geltendmachung der Rückerstattung eingeleitet hätte (vgl. dazu die Einsprache des Versicherten vom 24. Juni 2019). Insofern hat die Vorinstanz den massgebenden Sachverhalt willkürlich im Sinne von offensichtlich unrichtig festgestellt, so dass die Sachverhaltsfeststellungen in dieser Hinsicht für das Bundesgericht nicht verbindlich sind (<ref-law>).
4.3. Ausgangspunkt ist der Grundsatz, dass sich der versicherte Verdienst nach <ref-law> auf die Definition des massgebenden Lohns nach <ref-law> stützt, der auch ausbezahlte Provisionen miterfasst (<ref-law>). Dabei wird nicht auf allfällige Vereinbarungen im Arbeitsvertrag, sondern primär auf das tatsächlich Ausbezahlte abgestellt. Von dieser Regelung im Einzelfall abzuweichen rechtfertigt sich nur dort, wo ein Missbrauch im Sinne der Vereinbarung von fiktiven Löhnen, die in Wirklichkeit nicht zur Auszahlung gelangen, praktisch ausgeschlossen werden kann (Urteil 8C_472/2019 vom 20. November 2019 E. 4.2 mit Hinweisen). Eine Missbrauchsgefahr im beschriebenen Sinne ist hier offensichtlich nicht gegeben. Daran ändert auch der vorinstanzliche Verweis auf das Urteil 8C_627/2017 vom 26. Januar 2018, wonach ein Lohnausweis nur ein Indiz für eine tatsächliche Lohnzahlung sei, nichts, da dieses Urteil nicht einschlägig ist: Während hier die Zahlung unbestrittenermassen erfolgte und nur deren (teilweise) Qualifizierung als versicherter Verdienst strittig ist, war dort zu prüfen, wieviel der Versicherte von seiner Einmann-GmbH tatsächlich ausbezahlt erhalten hatte und ob die (von ihm selbst ausgestellten) Lohnausweise angesichts der widersprüchlichen Unterlagen als Nachweis für eine erfolgte Lohnzahlung gelten konnten oder nicht. Mithin ging es auch in diesem Urteil darum, einer Missbrauchsgefahr, die vorliegend nicht besteht, zu begegnen. Es ist denn auch nicht erstellt, dass der Versicherte den von der Vorinstanz als massgeblich erachteten Betrag von Fr. 20'714.15 tatsächlich zurückbezahlen muss. Soweit die ehemalige Arbeitgeberin auf entsprechende rechtliche Schritte verzichtet, sei dies aus rechtlichen oder aus finanziellen Überlegungen (vgl. dazu die Aussage des Versicherten in seiner Email vom 26. Februar 2019 und seiner Einsprache vom 24. Juni 2019, wonach er gar nicht in der Lage sei, dies zurückzubezahlen), bleibt es bei der Qualifizierung der erfolgten Auszahlungen als massgebender Lohn nach <ref-law>. Entgegen der Ansicht des Versicherten ist es jedoch auch nicht Sache der Organe der Arbeitslosenversicherung, vorweg zu prüfen, ob die vereinbarten Provisionsvorschüsse rechtskonform sind oder einen Verstoss gegen <ref-law> darstellen. Somit ist vorliegend von den tatsächlich geleisteten Zahlungen der Arbeitgeberin (unter Abzug der Familienzulagen in der Höhe von monatlich Fr. 450.-, <ref-law>) auszugehen. Für die letzten sechs Monate machte dies (gerundet) Fr. 29'030.- und für die letzten zwölf Monate Fr. 61'160.- aus. Dies ergibt gestützt auf <ref-law> einen versicherten Verdienst von (gerundet) Fr. 5097.- (Fr. 61'160.- : 12). Unter Berücksichtigung von <ref-law> hat die Arbeitslosenkasse der Arbeitslosenentschädigung des Beschwerdeführers einen versicherten Verdienst von Fr. 5082.30 zugrunde zu legen.
5.
Das Verfahren ist kostenpflichtig. Die unterliegende Arbeitslosenkasse hat die Gerichtskosten zu tragen (<ref-law>; <ref-ruling>). Der Versicherte hat Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Obergerichts des Kantons Schaffhausen vom 10. Dezember 2019 und der Einspracheentscheid der Arbeitslosenkasse des Kantons Schaffhausen vom 20. Juni 2019 werden aufgehoben. Die Beschwerdegegnerin hat dem Anspruch des Beschwerdeführers auf Arbeitslosenentschädigung einen versicherten Verdienst von Fr. 5'082.30 zugrunde zu legen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Obergericht des Kantons Schaffhausen zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 17. April 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold