Sachverhalt:
A.
Im Dezember 2007 ersuchte M._, geboren 1957, um Leistungen der Invalidenversicherung. Nach umfangreichen beruflichen und medizinischen Abklärungen, darunter die Einholung eines polydisziplinären Gutachtens des Instituts X._ vom 12. August 2010 und dessen Ergänzung im Mai 2011, verneinte die IV-Stelle des Kantons St. Gallen am 8. Juli 2011 den Anspruch auf eine Invalidenrente.
B.
Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 16. September 2013 teilweise gut, stellte den Anspruch auf eine Viertelsrente ab 1. Dezember 2008 fest und wies die Sache zur Rentenberechnung und -ausrichtung an die IV-Stelle zurück.
C.
Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben und die Verfügung vom 8. Juli 2011 zu bestätigen. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
M._ lässt auf Abweisung der Beschwerde schliessen undeventualiter die Rückweisung an die Vorinstanz zur Einholung eines Obergutachtens beantragen. Weiter sei der Beschwerde der IV-Stelle keine aufschiebende Wirkung zuzuerkennen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
1.3. Im Rahmen der Invaliditätsbemessung - namentlich bei der Ermittlung von Gesundheitsschaden, Arbeitsfähigkeit und Zumutbarkeitsprofil sowie bei der Festsetzung von Validen- und Invalideneinkommen - sind zwecks Abgrenzung der (für das Bundesgericht grundsätzlich verbindlichen) Tatsachenfeststellungen von den (letztinstanzlich frei überprüfbaren) Rechtsanwendungsakten der Vorinstanz weiterhin die kognitionsrechtlichen Grundsätze heranzuziehen, wie sie in <ref-ruling> E. 3 S. 397 ff. für die bis 31. Dezember 2006 gültig gewesene Fassung von Art. 132 des seither aufgehobenen OG entwickelt wurden. Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage; dazu gehören auch Folgerungen, die sich auf medizinische Empirie stützen, zum Beispiel die Vermutung, dass eine anhaltende somatoforme Schmerzstörung oder ein vergleichbarer ätiologisch unklarer syndromaler Zustand mit zumutbarer Willensanstrengung überwindbar sei (<ref-ruling> mit Hinweisen; SVR 2008 IV Nr. 8 S. 24 E. 3.2 am Ende, I 649/06). Im Übrigen gilt in diesem Zusammenhang Folgendes: Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt zunächst, ob eine anhaltende somatoforme Schmerzstörung (oder ein damit vergleichbarer syndromaler Zustand) vorliegt, und bejahendenfalls sodann, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (Urteil 9C_917/2012 vom 14. August 2013 E. 1.2 mit Hinweis auf SVR 2008 IV Nr. 23 S. 72 E. 2.2, I 683/06).
2.
Streitig ist der Anspruch auf eine Invalidenrente, namentlich ob die psychischen Beschwerden des Versicherten einen invalidisierenden Gesundheitsschaden zu begründen vermögen. Die Vorinstanz hat dabei für die Beurteilung der gesundheitlichen Einschränkungen auf das Gutachten des Instituts X._ vom 12. August 2010 und dessen Ergänzung vom Mai 2011 abgestellt (vgl. E. 2 des vorinstanzlichen Entscheids).
3.
3.1. Im Gutachten des Instituts X._ vom 12. August 2010 wurden als die Arbeitsfähigkeit beeinflussende Diagnosen eine mittelgradige depressive Episode (ICD-10: F 32.1), eine anhaltende somatoforme Schmerzstörung (ICD-10: F 45.4), ein subakromiales und allenfalls auch subkorakoidales Rest-Impingement Schulter rechts (ICD-10: M 75.4) und ein chronisches lumbovertebrales und möglicherweise intermittierend lumboischialgiformes Schmerzsyndrom (ICD-10: M 54.5/M 54.4) sowie ohne Einfluss auf die Arbeitsfähigkeit ein anamnestisch chronisches zervikovertebrales Schmerzsyndrom ohne radikuläre Symptomatik (ICD-10: M 54.2) und eine anamnestische Hypercholesterinämie behandelt (ICD-10: E 78.2) festgehalten. Für die angestammte Tätigkeit als Gipser bestehe volle Arbeitsunfähigkeit. In einer körperlich leichten bis mittelschweren wechselbelastenden Tätigkeit ohne Überkopfarbeiten und Zwangshaltungen des Rumpfes bestehe eine Arbeitsfähigkeit von 70 %. Dabei gingen die Gutachter aus somatischer Sicht von einer vollen Arbeitsfähigkeit bei adaptierter Tätigkeit aus, erachteten jedoch die Arbeitsfähigkeit aus psychiatrischer Sicht um 30 % eingeschränkt.
3.2. Die Vorinstanz hat bei ihrer Beurteilung des Gesundheitsschadens vollumfänglich auf das Gutachten des Instituts X._ vom 12. August 2010 abgestellt. Der Versicherte lässt hingegen geltend machen, das Gutachten des Instituts X._ erweise sich als unvollständig und teilweise falsch: Die Diagnosen seien um eine posttraumatische Belastungsstörung und eine Angststörung (ICD-10: F 41) zu ergänzen und anstelle der attestierten Arbeitsunfähigkeit von 30 % sei von einer solchen von 50 % auszugehen.
Die Vorinstanz hat sich einlässlich mit dieser bereits im kantonalen Verfahren geäusserten Kritik auseinandergesetzt und dargelegt, dass das Gutachten des Instituts X._ die Anforderungen der Rechtsprechung erfülle und keine relevanten medizinischen Tatsachen ausser Acht gelassen habe, weshalb grundsätzlich darauf abgestellt werden könne. Was der Versicherte dagegen vorbringt, vermag weder eine willkürliche Sachverhaltswürdigung (oben E. 1.2) noch eine das Bundesrecht verletzende Beweiswürdigung (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) des kantonalen Gerichts zu belegen.
4.
4.1. Aufgabe des begutachtenden Arztes im Rahmen der Invaliditätsbemessung bei Vorliegen einer anhaltenden somatoformen Schmerzstörung ist, sich dazu zu äussern, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung im Hinblick auf eine erwerbliche Tätigkeit behindern. Gestützt darauf haben die rechtsanwendenden Behörden zu entscheiden, ob der Gesundheitsschaden invalidisierend ist, d.h. zu prüfen, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine im Hinblick auf eine erwerbliche Tätigkeit nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung zu erlauben. Die Prüfung schliesst die Beurteilung der Frage ein, inwiefern die ärztliche Einschätzung der psychisch bedingten Arbeitsunfähigkeit invaliditätsfremde Gesichtspunkte (insbesondere psychosoziale und soziokulturelle Belastungsfaktoren) mitberücksichtigt (SVR 2012 IV Nr. 1 S. 1 E. 3.4.1, 9C_1040/2010).
4.2. Der psychiatrische Gutachter des Instituts X._ hält fest, ein ausgeprägter sozialer Rückzug lasse sich nicht feststellen, das Scheitern der therapeutischen Bemühungen hänge wesentlich mit der ausgeprägten subjektiven Krankheitsüberzeugung zusammen und es fänden sich keine Hinweise auf einen primären Krankheitsgewinn. Auch sei die unregelmässige Einnahme der Medikamente ein Hinweis darauf, dass der Versicherte sich subjektiv nicht schwer depressiv fühle. Weiter bejahte er eine Komorbidität der somatoformen Schmerzstörung mit der mittelgradigen depressiven Episode. Insgesamt konnten die Gutachter des Instituts X._ die geklagten Schmerzen nicht vollständig objektivieren.
4.3. Es ist unbestritten, dass der Beschwerdegegner an einer psychischen Komorbidität in Form der diagnostizierten mittelgradigen depressiven Episode und der anhaltenden somatoformen Schmerzstörung leidet. Zu beantworten bleibt die frei überprüfbare Rechtsfrage, ob diese Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer ist, was ausnahmsweise einen Wiedereinstieg in den Arbeitsprozess und die Ausübung einer angepassten Erwerbsarbeit als unzumutbar erscheinen lässt (oben E. 1.3; Urteil 9C_917/2012 vom 14. August 2013 E. 3). Für die Frage der Überwindbarkeit der Schmerzstörung ist praxisgemäss nicht entscheidend, ob die depressive Episode als leicht oder als mittelgradig eingestuft wird, weil beide Diagnosen in der Regel nicht als psychische Komorbidität von erheblicher Schwere, Ausprägung und Dauer gelten, welche die ausnahmsweise Unüberwindbarkeit einer Schmerzstörung bewirken kann (vgl. Urteil 9C_649/2013 vom 5. November 2013 E. 4.3).
4.4. Auf Grund der fachärztlichen Aussagen ist keines der nach <ref-ruling> massgebenden Kriterien, welche gegen die Erbringung einer vollen Leistung in den körperlichen Beeinträchtigungen angepassten Tätigkeiten sprechen können, als gegeben zu betrachten. Namentlich fehlt es an Umständen, welche die Komorbidität von erheblicher Schwere begründen würden; die hier diagnostizierte mittelgradige depressive Episode und die geschilderten Auswirkungen reichen dazu nicht aus. Daran ändert nichts, dass der psychiatrische Gutachter des Instituts X._ aus psychischen Gründen eine Einschränkung der Arbeitsfähigkeit attestierte, da es Sache der rechtsanwendenden Behörden ist, das Vorliegen der Kriterien nach <ref-ruling> zu prüfen (E. 4.1; vgl. auch SVR 2012 IV Nr. 1 S. 1 E. 3.4.2.1, 9C_1040/2010). Zudem ist mit der IV-Stelle darauf hinzuweisen, dass die diagnostizierte mittelgradige depressive Episode auf die Kündigung des Arbeitsplatzes und damit auf einen psychosozialen Faktor zurückzuführen ist. Nicht klar vom psychischen Leiden abgrenzbare psychosoziale und soziokulturelle Faktoren sprechen jedoch gegen den invalidisierenden Charakter der Störung (SVR 2012 IV Nr. 1 S. 1 E. 3.4.2.2, 9C_1040/2010 und IV Nr. 22 S. 95 E. 2.5, 8C_302/2011).
Nach dem Gesagten ist im Rahmen der Rechtsprechung von <ref-ruling> von einer zeitlich und leistungsmässig grundsätzlich vollen Arbeitsfähigkeit in einer den somatischen Einschränkungen angepassten Tätigkeit auszugehen.
5.
Zu prüfen bleibt, ob der Versicherte im Vergleich zum unbestrittenen Valideneinkommen von Fr. 68'250.- (E. 3.1 des kantonalen Entscheids) unter Berücksichtigung seiner zumutbaren vollen Arbeitsfähigkeit in einer adaptierten Tätigkeit (oben E. 4.4) in Anwendung der allgemeinen Methode des Einkommensvergleichs (<ref-law>) Anspruch auf eine Invalidenrente hat.
Ausgehend vom (ebenfalls unbestrittenen) hypothetischen Invalideneinkommen gemäss LSE von Fr. 60'167.- bei einer vollen Arbeitsfähigkeit ist mit der Vorinstanz in Schätzung sämtlicher massgebenden Umstände ein leidensbedingter Abzug von höchstens 10 % angemessen (E. 3.2 und 3.3 des kantonalen Entscheids), womit ein massgebendes Invalideneinkommen von Fr. 54'150.- resultiert. Ein leidensbedingter Abzug im maximal zulässigen Ausmass von 25 % ist hingegen nicht angebracht. Denn einerseits ist dem Versicherten eine volle Arbeitstätigkeit zumutbar und andererseits wird den somatischen Beschwerden bereits mit der adaptierten, leichten bis mittelschweren Tätigkeit sowie dem Abzug von 10 % Rechnung getragen; bei den übrigen geltend gemachten Faktoren handelt es sich um nicht invaliditätsbedingte Umstände, die auf Seiten des Valideneinkommens keine Rolle spielten, weshalb sie auch beim Invalideneinkommen nicht zu berücksichtigen sind. Bei einem Vergleich des Validen- mit dem Invalideneinkommen resultiert ein rentenausschliessender Invaliditätsgrad von 21 % (<ref-law>).
6.
Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung der Beschwerde gegenstandslos.
7.
Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 16. September 2013 wird aufgehoben und die Verfügung der IV-Stelle des Kantons St. Gallen vom 8. Juli 2011 bestätigt.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdegegner auferlegt.
3.
Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Dezember 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Riedi Hunold