Sachverhalt:
A.
H._, geboren 1975, Vater von drei Kindern (geboren 1996, 2005 und 2007), war zuletzt ab 1. Januar 2005 als Betriebsarbeiter bei der L._ AG tätig, zunächst vollzeitlich, ab 3. April 2008 wegen einer chronischen Cervicalgie im Umfang von 50 %. Am 23. April 2008 wurde er von seinem Hausarzt Dr. med. R._, Allgemeinmedizin FMH, bei der Invalidenversicherung zur Früherfassung angemeldet. Die IV-Stelle des Kantons Aargau führte am 22. Mai 2008 ein Erstgespräch mit H._ durch. Die Abklärungsperson kam zum Schluss, es sei eine IV-Anmeldung angezeigt. Diese erfolgte am 26. Mai 2008. Die IV-Stelle führte erwerbliche Abklärungen durch und veranlasste eine interdisziplinäre (internistisch-rheumatologische sowie psychiatrische) konsiliarische medizinische Standortbestimmung bei der Abklärungsstelle X._ (Bericht der Dres. med. F._, FMH Innere Medizin und Rheumatologie, und M._, FMH Psychiatrie und Psychotherapie sowie Neurologie, vom 20. Februar 2009). Nach Stellungnahme des Regionalen Ärztlichen Dienstes (RAD; Dr. med. S._) vom 27. Mai 2009 teilte die IV-Stelle H._ am 8. Juni 2009 mit, es seien derzeit aufgrund seines Gesundheitszustandes keine Eingliederungsmassnahmen möglich. Am 16. Juni 2009 liess die Abklärungsstelle X._ der IV-Stelle den nachträglich eingegangenen psychiatrischen Teil der medizinischen Standortbestimmung (verfasst von Dr. med. M._ am 14. Februar 2009) zukommen. Zusätzlich zog die IV-Stelle die Akten der Krankentaggeldversicherung bei und veranlasste ein ophthalmologisches Gutachten bei der Abklärungsstelle X._, welches am 18. Juni 2010 von Dr. med. G._, Spezialarzt für Ophthalmologie FMH, erstattet wurde. RAD-Ärztin S._ nahm am 29. September und 29. Oktober 2010 erneut Stellung. Nach weiteren erwerblichen Abklärungen, Beizug der Akten der Arbeitslosenversicherung und Eingang eines Verlaufsberichts des Dr. med. R._ vom 30. Dezember 2010 sowie weiterer medizinischer Unterlagen nahm RAD-Ärztin S._ am 10. März 2011 erneut Stellung. In der Folge beauftragte die IV-Stelle die Medas mit einem Gutachten vom 30. Januar 2012. Dr. med. S._ nahm hiezu am 16. März 2012 Stellung.
Mit Vorbescheid vom 29. März 2012 stellte die IV-Stelle die Abweisung des Rentenbegehrens in Aussicht. Nach durchgeführtem Vorbescheidverfahren bestätigte die IV-Stelle mit Verfügung vom 29. Juni 2012, es bestehe kein Anspruch auf eine Invalidenrente.
B.
Die hiegegen von H._ erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 4. Juli 2013 ab.
C.
H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides die Rückweisung der Sache an die IV-Stelle zur weiteren Abklärung und zu neuem Entscheid beantragen. Eventualiter sei ihm "die ihm rechtmässig zustehende Rente" zuzusprechen.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 105 Abs. 2 BGG und Art. 97 Abs. 1 BGG). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (BGE 137 II 353 E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: BGE 137 V 446]).
2.
Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen begründet sind (BGE 125 V 351 E. 3a S. 352). Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (BGE 120 Ia 31 E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (BGE 132 III 209 E. 2.1 S. 211; zum Begriff der Willkür BGE 137 I 1 E. 2.4 mit Hinweisen S. 5).
3.
3.1. Die Vorinstanz erwog, der Beschwerdeführer sei seit Eintritt des Gesundheitsschadens am 3. April 2008 unbestrittenermassen nurmehr in einer angepassten Tätigkeit arbeitsfähig. Aus somatischer Sicht wäre eine adaptierte Arbeit vollumfänglich zumutbar; dem ophthalmologischen Gutachten der Abklärungsstelle X._ könne nicht entnommen werden, weshalb auch bei Tätigkeiten ohne erhöhte Anforderungen an die Sehschärfe lediglich eine Arbeitsfähigkeit zwischen 40 und 70 % bestehen solle. Die von den Medas-Experten attestierte Einschränkung der Erwerbsunfähigkeit aus psychischer Sicht von 40 % für die Zeit vom 3. April 2008 bis 20. September 2011 und von 30 % ab dem 21. September 2011 sei aus rechtlicher Sicht nicht gerechtfertigt, weil die depressive Episode unabhängig davon, ob sie als leicht oder mittelgradig eingestuft werde, zu keinem Zeitpunkt als Komorbidität angesehen werden könne, welche die ausnahmsweise Unüberwindbarkeit der Schmerzen zu begründen vermöchte. Im Folgenden prüfte die Vorinstanz die sogenannten Förster-Kriterien (hiezu BGE 137 V 64 E. 4.1 S. 67 f.) und erwog, lediglich das Kriterium einer chronischen körperlichen Begleiterkrankung mit mehrjährigem Krankheitsverlauf sei erfüllt, indes nicht derart ausgeprägt, dass deswegen eine willentliche Schmerzüberwindung in Frage gestellt wäre. Dem Beschwerdeführer wäre eine angepasste Tätigkeit ganztags zumutbar. Bezogen auf einen allfälligen Rentenbeginn im Jahr 2009 betrage die Erwerbseinbusse nur 7 %, weshalb das Rentenbegehren abzuweisen sei.
3.2. Der Beschwerdeführer rügt, die Vorinstanz sei bundesrechtswidrig von einem ausreichend abgeklärten Sachverhalt ausgegangen. Die fast drei Jahre nach der ersten Begutachtung veranlasste Medas-Expertise enthalte keine Begründung für die angebliche psychische Verbesserung und sei insoweit nicht beweiskräftig. Damit fehle es auch an den notwendigen Grundlagen für den Entscheid, ob die Beschwerden überwindbar wären. Hinsichtlich des Augenleidens bestünden widersprüchliche Beurteilungen. Dr. med. W._, FMH für Ophthalmologie, begründe im Medas-Teilgutachten vom 15. Januar 2012 nicht, weshalb er zu einer wesentlich anderen Einschätzung gelangt sei als Dr. med. G._, weshalb auch insoweit der Sachverhalt nicht ausreichend abgeklärt sei. Jedenfalls bestünden für die Zeit zwischen Abklärungsstelle X._- und Medas-Begutachtung Lücken in der Sachverhaltsermittlung. Schliesslich sei im Rahmen der erneuten Entscheidung den leidensbedingten Einschränkungen mit einem Abzug von mindestens 15 % vom Invalideneinkommen Rechnung zu tragen.
4.
4.1. Nachdem die IV-Stelle vergeblich versucht hatte, vom Hausarzt Dr. med. R._ die für die Beurteilung der Anspruchsberechtigung notwendigen Angaben zu erhalten, veranlasste sie auf Anraten der RAD-Ärztin Dr. med. S._ eine ergänzende rheumatologische und psychiatrische Standortbestimmung bei der Abklärungsstelle X._. Dr. med. M._ führte in deren psychiatrischen Teil (vom 14. Februar 2009) namentlich aus, er hege den Verdacht auf eine Somatisierungsstörung. Weitere Abklärungen seien sicherlich notwendig, unklar sei der medikamentöse Einfluss. Eine psychotherapeutische/psychosomatische Behandlung werde dringend empfohlen, auch um den Exploranden möglichst früh, und nicht erst nach einer längeren Zeit ohne jegliche Tätigkeit, "abzufangen". Derzeit sei der Versicherte durch die depressive Symptomatik mit Antriebsminderung und durch eine psychomotorische Verlangsamung aufgrund der psychovegetativen Symptomatik in einer angepassten Tätigkeit auf etwa 60 % seiner Arbeitsfähigkeit reduziert. Eine dauerhafte Schädigung lasse sich im psychiatrischen Bereich noch nicht erkennen. Vordringlich sei die Aufnahme einer psychiatrischen/psychosomatischen Behandlung mit Fokus zunächst auf die bestehende depressive Symptomatik. Der Versicherte verfüge im Rahmen seiner Grundpersönlichkeit über relevante Ressourcen; es sei wichtig, dass er für sich selbst Perspektiven sehe. Reintegrationshinderlich sei das eingeschränkte Selbstvertrauen. In ihrer Gesamtbeurteilung kamen die Dres. med. F._ und M._ zum Schluss, das (damalige) "de-facto-Eintreten" einer vollen Arbeitsunfähigkeit sei als Krisensituation zu verstehen, entsprechend seien psychiatrische/psychosomatische Behandlungen und somatische Abklärungen unverzüglich einzuleiten "im Sinne eines raschen Führens und Auffangens des Patienten vor dem Eintreten einer allzugrossen Fixierung der Situation".
4.2. Die von den Dres. med. F._ und M._ festgehaltene Arbeitsfähigkeit von 60 % entsprach somit der Momentaufnahme in einer Krisensituation (der Versicherte hatte im Januar 2009 die Kündigung erhalten). Aus psychischer Sicht fehlte es an einer "dauerhaften Schädigung" und an einem stablisierten Zustand, zudem wiesen die Ärzte explizit auf weiteren Abklärungsbedarf hin. Wenn die Beschwerdegegnerin vor diesem Hintergrund zusätzliche Untersuchungen in die Wege leitete, ist dies in keiner Weise zu beanstanden. Weshalb in der Folge die von den Experten der Abklärungsstelle X._ dringend empfohlenen Behandlungen und Reintegrationsbemühungen unterblieben, ist nicht dokumentiert. Es steht aber fest, dass der Beschwerdeführer insbesondere keine psychotherapeutische Behandlung aufnahm. Auch zeigte die Bestimmung des Medikamentenspiegels anlässlich der Medas-Begutachtung, dass er die Antidepressiva nicht einnahm. Gleichwohl konnten die Experten der Medas nach ausführlicher und im Einzelnen dokumentierter psychiatrischer Untersuchung vom 20. September 2011 den Schweregrad der depressiven Episode nicht mehr im mittelgradigen Bereich (ICD-10 F32.1) einordnen, sondern sie diagnostizierten mit nachvollziehbarer Begründung eine leichtgradige Episode (ICD-10 F32.0), bei anamnestisch seit 2007 schwankenden depressiven Zuständen. Zwar beschrieb der Versicherte auch gegenüber den Medas-Experten Insuffizienzgefühle, Morgentief und verminderten Antrieb. Im Gegensatz zur psychiatrischen Standortbestimmung im Februar 2009 konnte er sich aber unauffällig ausdrücken und brach auch nicht mehr in Tränen aus, sondern hinterliess nurmehr einen leicht niedergeschlagenen Eindruck. Die 2009 festgestellte Teilnahmslosigkeit konnten die Medas-Gutachter nicht mehr beobachten und auch die affektive Modulierbarkeit bewegte sich - mit zunehmender Explorationsdauer - im normalen Bereich. Wenn die Vorinstanz nach umfassender Beweiswürdigung zum Ergebnis gelangte, mit dem den rechtlichen Anforderungen an eine beweistaugliche Expertise erfüllenden Medas-Gutachten sei der medizinische Sachverhalt hinreichend abgeklärt, liegt darin entgegen den Vorbringen des Versicherten kein Verstoss gegen Bundesrecht. Insbesondere ist nach dem Gesagten die Rüge unbegründet, es fehle an nachvollziehbaren Ausführungen, weshalb aus psychischer Sicht seit der (vorläufigen) Standortbestimmung durch die Abklärungsstelle X._ eine Verbesserung eingetreten sei.
4.3. Nach den bundesrechtskonformen Erwägungen der Vorinstanz ist für die Frage der Überwindbarkeit der Schmerzstörung praxisgemäss nicht entscheidend, ob die depressive Episode als leicht oder als mittelgradig eingestuft wird, weil beide Diagnosen in der Regel nicht als psychische Komorbidität von erheblicher Schwere, Ausprägung und Dauer gelten, welche die ausnahmsweise Unüberwindbarkeit einer Schmerzstörung bewirken kann (z.B. Urteil 9C_942/2011 vom 6. Juli 2012 E. 5.3.3 mit Hinweis). Bei dieser Ausgangslage ist auch die Rüge hinfällig, die Sachverhaltsabklärung zwischen der Standortbestimmung durch die Abklärungsstelle X._ im Januar 2009 und der Medas-Begutachtung im Februar 2012 sei unvollständig.
5.
Unbestritten leidet der Versicherte an einer Visusverminderung (rechts deutlich stärker ausgeprägt als links). Was deren Auswirkungen auf die Arbeitsfähigkeit betrifft, kamen die beiden Experten Dr. med. G._ und Dr. med. W._ zu unterschiedlichen Beurteilungen. Während Dr. med. G._ am 28. Juni 2010 ausgeführt hatte, die Sehschwäche (Amblyopie) bewirke auch in Tätigkeiten ohne erhöhte Anforderungen an die Sehschärfe eine Einschränkung zwischen 30 und 60 %, stellte Dr. med. W._ fest, die Arbeitsfähigkeit sei in einer Tätigkeit, welche keine erhöhten Anforderungen an die Sehschärfe stelle, nicht eingeschränkt. Die Vorinstanz erwog, die Einschätzung des Dr. med. G._ sei nicht einsichtig, der Arzt habe insbesondere nicht schlüssig beantworten können, weshalb auch in Tätigkeiten ohne erhöhte Anforderungen an die Sehschärfe eine Einschränkung bestehen solle. Diese Feststellung ist aus folgenden Gründen nicht offensichtlich unrichtig und damit letztinstanzlich bindend (E. 2 hievor) : Nach den unbestritten gebliebenen Angaben des Dr. med. W._ war der Augenbefund "seit Jahren stabil"; gemäss Einschätzung des Dr. med. G._ bestand die Beeinträchtigung wahrscheinlich seit Geburt. Sodann gab der Versicherte seine Arbeitstätigkeit aktenkundig nicht wegen der (seit ca. 2004 mit Brille soweit möglich korrigierten) Sehschwäche auf, sondern aufgrund der Schmerzproblematik. So erklärte auch die Arbeitgeberin, der Beschwerdeführer habe bei "Belastung durch Heben" den Anforderungen nicht entsprechen können (Arbeitgeberbericht vom 13. Juni 2008). Wenn es ihm aber trotz Augenproblemen während vieler Jahre möglich war, die an ihn gestellten Anforderungen an den verschiedenen - nicht spezifisch seinen Visusproblemen angepassten - Arbeitsstellen zur aktenkundigen Zufriedenheit seiner Arbeitgeber zu erfüllen, leuchtet nicht ohne Weiteres ein, weshalb in Tätigkeiten ohne besondere Anforderungen an die Sehschärfe die Arbeitsfähigkeit zwischen 30 und 60 % eingeschränkt sein soll. Das kantonale Gericht ist in bundesrechtskonformer Weise der Beurteilung des Dr. med. W._ gefolgt.
6.
Mit Bezug auf den Einkommensvergleich rügt der Versicherte einzig, es wäre ihm ein leidensbedingter Abzug von 15 % zu gewähren. Davon abgesehen, dass die Höhe eines solchen Abzuges ein typischer Ermessensentscheid ist, welcher einer letztinstanzlichen Korrektur nur bei - hier nicht gegebener - rechtsfehlerhafter Ausübung des Ermessens durch das kantonale Gericht zugänglich wäre (Art. 95 lit. a BGG), würde selbst dann kein rentenbegründender Invaliditätsgrad resultieren, wenn dem Beschwerdeführer gefolgt würde (wozu aber kein Anlass besteht), sondern ein solcher von 20,9 %.
7.
Damit hat es beim vorinstanzlichen Entscheid sein Bewenden. Bei diesem Ausgang sind die Gerichtskosten (Art. 65 Abs. 1 und Abs. 4 lit. a BGG) vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem GEMINI Sammelstiftung zur Förderung der Personalvorsorge, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. November 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Bollinger Hammerle