Sachverhalt:
A.
A.a. A._, geb. 1964, war zuletzt als Zaunmonteur tätig. Am 2. Dezember 2010 meldete er sich unter Hinweis auf eine Diskushernie bei der Eidgenössischen Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schaffhausen traf erwerbliche und medizinische Abklärungen und holte insbesondere bei der Abklärungsstelle B._ ein Gutachten vom 25. März 2013 ein. Mit Verfügung vom 3. Juli 2013 wies sie das Leistungsbegehren ab mit der Begründung, in einer angepassten Tätigkeit bestehe eine volle Arbeitsfähigkeit und der Invaliditätsgrad betrage 19 %. Auf eine Neuanmeldung zum Leistungsbezug vom 24. Oktober 2013 trat die IV-Stelle mit Verfügung vom 10. Juni 2014 nicht ein.
A.b. Am 26. August 2015 meldete sich A._ unter Hinweis auf Rückenschmerzen mit Bewegungseinschränkung sowie depressive Stimmung erneut bei der Invalidenversicherung zum Leistungsbezug an und machte eine gesundheitliche Verschlechterung geltend. In der Folge liess die IV-Stelle den Versicherten durch Dr. med. C._, Fachärztin FMH für Rheumatologie und Allgemeine Innere Medizin, begutachten. Gestützt auf das internistisch-rheumatologische Gutachten vom 21. Juli 2016 sowie die im Rahmen des Vorbescheidverfahrens eingeholte Stellungnahme der Dr. med. C._ vom 25. Oktober 2016 verfügte die IV-Stelle am 24. Januar 2017 die Abweisung des Leistungsbegehrens. Es sei keine erhebliche und dauerhafte Verschlechterung des Gesundheitszustands ausgewiesen und es bestehe weiterhin ein nicht rentenbegründender Invaliditätsgrad von 19 %.
B.
Das Obergericht des Kantons Schaffhausen wies die dagegen erhobene Beschwerde mit Entscheid vom 7. Mai 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, es sei ihm unter Aufhebung des angefochtenen Entscheids eine Invalidenrente zuzusprechen; eventualiter sei die Sache zu weiteren Abklärungen und neuem Entscheid an das kantonale Gericht, subeventualiter an die IV-Stelle zurückzuweisen. Gleichzeitig ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Das Bundesgericht holte die vorinstanzlichen Akten ein. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2. BGG; BGE 141 V 234 E. 1 S. 236).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.3. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (vgl. Art. 106 Abs. 2 BGG) klar und detailliert aufzuzeigen (BGE 144 V 50 E. 4.2 S. 53 mit Hinweisen; Urteil 9C_752/2018 vom 12. April 2019 E. 1.2).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie in Bestätigung der Verfügung vom 27. Januar 2017 einen Anspruch des Beschwerdeführers auf eine Invalidenrente verneinte. Im Zentrum steht dabei die Frage, ob sich sein Gesundheitszustand im - nicht umstrittenen - relevanten Zeitraum vom 3. Juli 2013 bis 24. Januar 2017 wesentlich verschlechtert hat.
2.2. Das kantonale Gericht legte die massgebenden Rechtsgrundlagen zutreffend dar. Dies betrifft namentlich die Bestimmungen und Grundsätze zu Voraussetzungen und Höhe des Rentenanspruchs (Art. 4 Abs. 1 IVG i.V.m. Art. 8 ATSG sowie Art. 28 Abs. 2 IVG) sowie zu den bei der Neuanmeldung anwendbaren Revisionsregeln (Art. 87 Abs. 2 und 3 IVV; Art. 17 Abs. 1 ATSG). Richtig sind auch die Ausführungen zu Beweiswert und Beweiswürdigung medizinischer Berichte und Gutachten (BGE 132 V 93 E. 4 S. 99 mit Hinweisen; 125 V 351 E. 3a S. 252 und E. 3b/bb S. 353). Darauf wird verwiesen.
2.3. Hervorzuheben ist, dass den im Rahmen des Verwaltungsverfahrens eingeholten Gutachten von externen Spezialärzten, die aufgrund eingehender Beobachtungen und Untersuchungen sowie nach Einsicht in die Akten Bericht erstatten und bei der Erörterung der Befunde zu schlüssigen Ergebnissen gelangen, bei der Beweiswürdigung volle Beweiskraft zuzuerkennen ist, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (BGE 125 V 351 E. 3b/bb S. 353; Urteil 9C_446/2019 vom 5. September 2019 E. 2.2).
3.
3.1. Die Vorinstanz stützte sich im Wesentlichen auf das internistisch-rheumatologische Gutachten der Dr. med. C._ vom 21. Juli 2016. Dr. med. C._ stellte als Diagnosen mit Auswirkung auf die Arbeitsfähigkeit eine verminderte Belastbarkeit der Brustwirbelsäule (BWS) bei kongenitaler Missbildung der BWS und des Rippenthorax sowie ausgeprägten thorakolumbalen Scheuermann-Relikten und eine verminderte Belastbarkeit des linken Hüftgelenks bei fortgeschrittener Protrusions-Coxarthrose. Ohne Auswirkungen auf die Arbeitsfähigkeit diagnostizierte sie einen Nikotin-Abusus, einen Vitamin-D-Mangel sowie einen Diskusprolaps L5/S1 mit leichter Deformierung des Recessus rechts ohne Kompression neurogener Strukturen. In der angestammten Tätigkeit als Zaunmonteur sei der Versicherte seit 26. Mai 2010 (letzter effektiver Arbeitstag) nicht mehr arbeitsfähig. In einer angepassten Tätigkeit, die die BWS und das linke Hüftgelenk schone und bei der er Lasten bis 15 kg zu hantieren habe, sei er zu 100 % arbeitsfähig. Angepasst seien z.B. die Tätigkeiten als Transport-Mitarbeiter (sofern er dabei keine Lasten über 15 kg hantieren müsse), als Staplerfahrer oder als Betriebswirtschafter. In einer angepassten Tätigkeit habe nie eine lang andauernde Arbeitsunfähigkeit bestanden.
3.2. Das kantonale Gericht erachtete dieses Gutachten als beweiskräftig und die gutachterliche Einschätzung der Arbeitsfähigkeit als nachvollziehbar begründet. Daran ändere zum einen nichts, dass die behandelnden Ärzte die Arbeitsfähigkeit in einer angepassten Tätigkeit gänzlich verneint oder zumindest wesentlich tiefer eingeschätzt hätten (20 % bzw. 30 %). Andererseits entspreche das Gutachten zwar nicht vollumfänglich den Qualitätsstandards. Es erscheine jedoch insgesamt als hinreichend begründet. Die Vorinstanz ergänzte sodann, dass Dr. med. C._ gerichtsnotorisch auffallend häufig als Gutachterin angefragt werde. Eine stark überproportionale Berücksichtigung einzelner Fachärzte im Rahmen von mono- und bidisziplinären Expertisen sei der Gutachtensakzeptanz abträglich, wenn sie auch für sich allein genommen nicht zum Ausstand des Gutachters führe (vgl. BGE 137 V 210 E. 1.3.3 S. 226 f.; 9C_334/2018 vom 18. September 2018 E. 7.1). Auch könne es beweismässig durch Anwendung der Rechtsprechung zu den Berichten versicherungsinterner medizinischer Fachpersonen ins Gewicht fallen, wenn ein Gutachter sein Einkommen weitgehend durch Aufträge der Invalidenversicherung erziele und dadurch eine wirtschaftliche Abhängigkeit im Raum stehe (Urteil 8C_354/2016 vom 25. Oktober 2016 E. 5.3, in: SVR 2017 IV Nr. 15 S. 33). Dies werde hier jedoch nicht geltend gemacht und sei daher nicht weiter zu vertiefen, zumal konkret kein Grund bestehe, nicht auf das Administrativgutachten abzustellen.
4.
4.1. Der Beschwerdeführer macht im Wesentlichen geltend, die Gutachterin Dr. med. C._ sei angesichts ihres bekannten hohen Auftragsvolumens von mehreren hundert Gutachten pro Jahr für IV-Stellen wirtschaftlich von der Invalidenversicherung abhängig. Ihr Gutachten sei folglich anhand der Grundsätze zu den Berichten versicherungsinterner medizinischer Fachpersonen zu würdigen, wonach bereits geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der gutachterlichen Feststellungen genügen, um einem Bericht den Beweiswert abzusprechen und ergänzende Abklärungen vorzunehmen (vgl. BGE 139 V 225 E. 5.2 S. 229; 135 V 465 E. 4.4 S. 465 f.; 125 V 351 E. 3b/33 S. 353 f.). Die Vorinstanz habe die Expertise dennoch als Administrativgutachten behandelt, obwohl sie selber Qualitätsmängel festgehalten habe. Ihre Beweiswürdigung sei somit unhaltbar und widersprüchlich. Auch bestünden hier mehr als nur geringe Zweifel an der Zuverlässigkeit der gutachterlichen Einschätzungen.
4.2.
4.2.1. Das Bundesgericht hat bereits mehrfach entschieden, der regelmässige Beizug einer Expertin, die Anzahl der bei der selben Ärztin in Auftrag gegebenen Gutachten und Berichte sowie das daraus resultierende Honorarvolumen schafften für sich alleine keine als Ausstandsgrund zu qualifizierende Abhängigkeit von den IV-Stellen (BGE 137 V 210 E. 1.3.3 S. 226 f. mit Hinweisen). An diesem Grundsatz hielt es - auch wenn es eine ausgewogene Verteilung der Aufträge und die Transparenz über die Auftragsvergabe als erwünscht bezeichnete - auch in Bezug auf die konkret ins Feld geführten Auftragszahlen der Dr. med. C._ fest (Urteile 9C_504/2018 vom 3. Dezember 2018 E. 4.3 9C_57/2018 vom 30. August 2018 E. 4.2; 8C_354/2016 vom 25. Oktober 2016 E. 5.2; je mit Hinweisen). Ein Ausstandsgrund ist vorliegend nicht gegeben und wird auch nicht geltend gemacht.
4.2.2. Zwar hat das Bundesgericht im Urteil 8C_354/2016 vom 25. Oktober 2016 darauf hingewiesen, dass, sofern die Gutachterin Dr. med. C._, wie sinngemäss geltend gemacht werde, ihr Einkommen weitgehend durch Gutachtensaufträge der Invalidenversicherung erzielen sollte und insoweit eine wirtschaftliche Abhängigkeit bestände, dies im Rahmen der Beweiswürdigung zu berücksichtigen sei, indem bereits geringe Zweifel genügen könnten, um ihren Gutachten den Beweiswert abzusprechen. Ob diese strengeren Anforderungen an die Beweiswürdigung hier zum Zug kommen sollen, kann mit Blick auf das Folgende allerdings offen gelassen werden.
4.3. Wie schon vor der Vorinstanz macht der Beschwerdeführer zunächst geltend, dass sämtliche behandelnden Rheumatologen von einer wesentlichen Verschlechterung des Gesundheitszustands seit der Rentenablehnung im Jahr 2013 berichtet hätten. So hätten Dr. med. D._, Facharzt FMH für Rheumatologie, Physikalische Medizin und Rehabilitation, in seinem Bericht vom 12. September 2016 eine höchstens 20%ige Arbeitsfähigkeit in einer angepassten Tätigkeit und Dr. med. E._, Facharzt FMH für innere Medizin und Rheumatologie, eine solche von maximal 30% attestiert (gemäss Bericht vom 28. September 2016). Dr. med. F._, Facharzt FMH für innere Medizin, speziell Rheumaerkrankungen, habe am 18. März 2015 von einer Verschlechterung des Gesundheitszustands berichtet und eine Arbeitsunfähigkeit von 100 % in einer angepassten Tätigkeit bestätigt. Dr. med. C._ habe diese Diskrepanzen jedoch nicht diskutiert.
Anderslautende Einschätzungen der behandelnden Ärzte sprechen nicht von vornherein gegen die Beweiskraft eines Gutachtens, zumal in diesem Zusammenhang stets auch die Divergenz zwischen medizinischem Behandlungs- und Begutachtungsauftrag zu beachten ist (BGE 125 V 351 E. 3b/cc S. 353; Urteil 9C_379/2019 vom 26. September 2019 E. 3.5.1). Des Weiteren kann sich, wie der Beschwerdeführer geltend macht, eine tatsächliche Veränderung in den gesundheitlichen Verhältnissen nicht nur aus neuen medizinischen Tatsachen ergeben, sondern auch darin liegen, dass sich ein Leiden in seiner Intensität und damit in seinen Auswirkungen auf die Arbeitsfähigkeit verändert hat (BGE 141 V 9 E. 6.3.2 S. 14). Eine solche Intensivierung lässt sich den Berichten der Dres. med. D._ und E._ aber gerade nicht entnehmen. Denn diese Ärzte setzten sich, wie Gutachterin C._ im Schreiben vom 25. Oktober 2016 bemerkte, nicht mit älteren Einschätzungen der Arbeitsfähigkeit (aus den Jahren 2010 bis 2013) auseinander. Mit der Vorinstanz ist dieser Hinweis insofern als relevant zu bewerten, als im Rahmen der Neuanmeldung zu prüfen ist, ob sich der Gesundheitszustand seit Juli 2013 verschlechtert hat. Die Vorinstanz zeigte des Weiteren auf, weshalb die Gutachterin insbesondere die abweichende Meinung des Dr. med. D._ zum Einfluss der Coxarthrose auf die Rückenbeschwerden nicht als neue medizinische Tatsache ansehen musste, zumal diese Diagnose bereits zum Zeitpunkt des Gutachtens der Abklärungsstelle B._ bekannt war. Auch habe sich Dr. med. C._ im Gutachten zu den Divergenzen zur Beurteilung des Dr. med. F._ geäussert und erklärt, weshalb seine Einschätzungen betreffend die Arbeitsfähigkeit als wenig verlässlich erscheinen würden. Der Beschwerdeführer beanstandet diese Ausführungen nicht, so dass es damit sein Bewenden hat.
4.4. In qualitativer Hinsicht wies die Vorinstanz darauf hin, dass die blosse Übernahme der Empfehlungen der Swiss Insurance Medicine (SIM-Empfehlungen) zu den allgemeinen funktionellen Auswirkungen von Rücken- und Hüftgelenksfunktionseinschränkungen den Anforderungen an eine fallbezogene Begründung nicht genüge, bzw. dass im Rahmen einer medizinischen Beurteilung konkret auf Art und Ausmass der Einschränkung eingegangen werden müsse. Dies sei im vorliegenden Gutachten nur knapp, jedoch gerade noch in hinreichender Weise geschehen. In diesem Zusammenhang zeigte die Vorinstanz immerhin auch auf, dass Dr. med. C._ (anders als die Dres. med. F._, D._ und E._) keinen für die Arbeitsfähigkeit relevanten Befund betreffend die Lendenwirbelsäule (LWS) gestellt hatte. Denn eine MRI-Untersuchung der LWS vom 5. Juli 2016 habe im Wesentlichen nur altersentsprechende Befunde ergeben, eine im Februar 2016 nachgewiesene Diskushernie L5/S1 rechts habe sich bereits fast vollständig zurückgebildet und Kompressionen neurogener Strukturen seien nicht sichtbar gewesen. Dass die Vorinstanz zum Schluss kam, die gutachterlichen Einschätzungen seien insgesamt nachvollziehbar begründet, erweist sich somit - entgegen der Auffassung des Beschwerdeführers - nicht als offensichtlich unrichtig.
4.5. Etwas anderes resultiert schliesslich auch nicht daraus, dass inzwischen eine Hüftgelenksoperation erfolgt sein soll, die jedoch nicht zu einer Besserung des Gesundheitszustands geführt habe. Denn dabei handelt es sich um ein nicht zu beachtendes Novum (Art. 99 Abs. 1 BGG).
4.6. Im Ergebnis vermag der Beschwerdeführer keine konkreten Indizien zu benennen, die gegen die Zuverlässigkeit der Expertise sprechen würden. Seine Vorbringen sind im Übrigen auch nicht geeignet, zumindest geringe Zweifel an den gutachterlichen Einschätzungen zu wecken. Mithin hat die Vorinstanz weder ihre Untersuchungspflicht verletzt noch kann ihr eine fehlerhafte Beweiswürdigung vorgeworfen werden. Vor diesem Hintergrund erübrigt es sich auch zu prüfen, wie es sich mit der allfälligen wirtschaftlichen Abhängigkeit der Gutachterin verhält (vgl. Urteile 8C_354/2016 vom 25. Oktober 2016 E. 5.3; 9C_67/2007 vom 28. August 2007 E. 2.4, in: SVR 2008 IV Nr. 22 S. 69). Die Beschwerde ist abzuweisen.
5.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Gemäss Art. 64 Abs. 1 BGG wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint. Dem Gesuch um unentgeltliche Rechtspflege kann zufolge Aussichtslosigkeit der Beschwerde (BGE 129 I 129 E. 2.3.1 S. 135 f.) nicht entsprochen werden.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Oktober 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart