Sachverhalt:
A.
A._ (geb. 1957), gelernter Landwirt und als solcher seit 1982 auf dem Anwesen B._ selbstständig erwerbstätig, meldete sich am 18. März 2010 wegen zunehmender Gonarthrose, vor allem aber Femoropatellararthrose links nach Kniedistorsion rechts am 24. Juni 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zug traf medizinische sowie berufliche Abklärungen und holte auf Einwand des Versicherten vom 5. Oktober 2012 ein polydisziplinäres Gutachten der GA eins GmbH Gutachtenstelle Einsiedeln (nachfolgend: MEDAS) vom 21. Oktober 2013 ein, das indessen wegen einer laufenden Opiat- und Steroidtherapie keine abschliessende Einschätzung des Gesundheitszustandes zuliess, so dass nach Absetzen dieser Behandlung bei der MEDAS eine polydisziplinäre Verlaufsabklärung in Auftrag gegeben wurde. Im entsprechenden Verlaufsgutachten vom 27. Februar 2015 attestierte die MEDAS bei gegenüber dem Vorgutachten unveränderten Diagnosen eine vollständige Arbeitsunfähigkeit sowohl als Landwirt als auch in einer angepassten Tätigkeit. Wie schon hinsichtlich des ersten Gutachtens (Stellungnahme des Regionalen Ärztlichen Dienstes [RAD] vom 3. Februar 2014), konnte sich der RAD auch der Arbeitsunfähigkeitsschätzung im Verlaufsgutachten nicht anschliessen (Stellungnahmen vom 23. März und 11. Mai 2015). Auf Einwand des Versicherten hin hielt der RAD an dieser Sichtweise mit Stellungnahme vom 6. Juli 2015 fest. Ausgehend von einer vollen Leistungsfähigkeit in angepasster Tätigkeit gelangte die IV-Stelle bei einem Valideneinkommen von Fr. 33'224.- als Landwirt und einem Invalidenlohn von Fr. 51'990.- zu einem Invaliditätsgrad von 0 %, was zur Ablehnung des Anspruchs auf eine Invalidenrente führte (Verfügung vom 19. August 2015).
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 30. März 2016 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des kantonalen Gerichtsentscheides sowie die Zusprechung einer ganzen Invalidenrente; eventualiter sei die Sache zwecks Aktenergänzung in Form der Einholung eines unabhängigen Obergutachtens und zur Neubeurteilung an die IV-Stelle zurückzuweisen.
Während die Vorinstanz und die IV-Stelle auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Das kantonale Gericht hat die für die Beurteilung des streitigen Anspruchs auf eine Invalidenrente massgeblichen Rechtsgrundlagen zutreffend dargelegt. Es kann auf die Erwägungen 3.1 bis 3.6 des angefochtenen Entscheides verwiesen werden.
3.
Die Vorinstanz hat nach einer umfassenden Darlegung und sorgfältigen Würdigung des medizinischen Aktenverlaufs der Auffassung des RAD gemäss Stellungnahme vom 11. Mai 2015 beigepflichtet ("zu Recht"), wonach die MEDAS-Gutachter ihre Auffassung, der Beschwerdeführer sei in einer angepassten Tätigkeit nicht arbeitsfähig, "in keiner Weise begründet hätten". Der RAD-Arzt habe unter funktionell-ergonomischen Aspekten unveränderte Beschwerdebilder und Funktionseinschränkungen festgehalten, die den Versicherten allerdings in einer körperlich entsprechend angepassten Tätigkeit nicht plausibel limitierten, zumal die subjektiven Beschwerden fassbare Inkonsistenzen aufweisen würden und sich mit den objektiven Befunden nicht genügend begründen liessen. Dies hätten auch die Gutachter festgestellt, wenn sie die wechselnden Beschwerden - übereinstimmend mit den behandelnden Ärzten - als nicht hinlänglich erklärbar einstuften. Letztlich habe der RAD-Arzt Dr. med. C._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, den Beschwerdeführer in einer körperlich angepassten Tätigkeit, schwerpunktmässig sitzend, mit spontan möglichen Positionswechseln, mit Schulterschonprofil, nach ergonomisch-funktionellen Kriterien zu 100 % arbeitsfähig bezeichnet, was Dr. med. D._, Facharzt für Innere Medizin FMH, aus allgemein internistischer Sicht ebenfalls bestätigt habe und wogegen auch der psychiatrische Facharzt des RAD (E._) keine Vorbehalte anbringe. Mit diesen polydisziplinären Einschätzungen und Stellungnahmen sei somit eine umfassende Gesamtschau gegeben, weshalb der Beschwerdegegnerin nicht vorgeworfen werden könne, einzig auf die orthopädische Einschätzung durch Dr. med. C._ abgestellt zu haben. Im Übrigen bestätige der Beschwerdeführer selber, dass er arbeitsfähig sei, führe er doch nach eigenen Angaben weiterhin seinen Hof und erledige dabei leichte Arbeiten selber. Wenn dies auch damit zusammenhängen möge, dass der Versicherte ein leidenschaftlicher Landwirt sei und auf seinem Hof wohne, zeige dies doch auf, dass er keinesfalls gänzlich arbeitsunfähig sei, wie dies die MEDAS-Gutachter postulierten. Die abweichende nachvollziehbare Beurteilung der RAD-Ärzte leuchte ein. Nicht erheblich sei, dass diese den Beschwerdeführer nicht selber untersucht hätten. Daher könne grundsätzlich auf das MEDAS-Verlaufsgutachten abgestellt werden; doch sei die "widersprüchliche bzw. mangelhaft begründete gutachterliche Einschätzung der Arbeitsfähigkeit durch diejenige der RAD-Ärzte zu ersetzen".
4.
Unter Berufung auf die Urteile 9C_28/2015 (Anforderungen an den Beweiswert von RAD-Berichten) und 8C_874/2013, wonach zumindest eine Stellungnahme der MEDAS-Gutachter zu den Einwänden und Kritikpunkten des RAD hätte eingeholt werden müssen, bevor abschliessend entschieden worden wäre, kritisiert die Beschwerde es als "unzulässigen Kunstgriff" der Vorinstanz, dass sie "das Verlaufsgutachten vom 27. Februar 2015 nicht mehr als Gesamtheit betrachtet, sondern aufteilt in die drei Teilgutachten der Fachärzte sowie die interdisziplinäre Begutachtung im Rahmen der Schlussfolgerungen", welch letzte sie "sodann mit drei RAD-Berichten von verschiedenen Fachärzten" ersetze, womit sie den Spielraum der freien Beweiswürdigung überschreite, was auch einen Verstoss gegen die vom Bundesgericht aufgestellten Beweiswürdigungsgrundsätze darstelle. Bei allen drei RAD-Berichten handle es sich nicht um Stellungnahmen im Sinne von <ref-law>, könnten sie sich doch nicht auf eigene Untersuchungen abstützen; es seien keine medizinischen Befunde erhoben sondern die vorhandenen Befunde von den RAD-Ärzten gewürdigt worden.
5.
Soweit die Beschwerde nicht ohnehin unzulässige appellatorische Kritik an der vorinstanzlichen Würdigung der Administrativexpertise (Verlaufsgutachten) einerseits, der RAD-Berichte andererseits, übt, was über weite Strecken der Fall ist, ist keine Bundesrechtsverletzung ersichtlich (E. 1).
5.1. Die Befunde stehen fest, es besteht kein medizinisch begründeter Abklärungsbedarf; vielmehr geht es einzig und allein um die Folgenabschätzung der diagnostizierten Leiden hinsichtlich der Arbeitsfähigkeit. Es verletzt keinesfalls Bundesrecht, wenn das kantonale Gericht, den RAD-Stellungnahmen folgend, die interdisziplinäre Beurteilung der Arbeitsfähigkeit im MEDAS-Verlaufsgutachten in Anbetracht der vorgängig gestellten strukturellen und funktionell-klinischen Diagnosen und auf dem Hintergrund der interdisziplinären (medizinischen) Beurteilung als nicht schlüssig bezeichnet hat. Die rechtlich gebotenen Anforderungen an eine schlüssige und nachvollziehbare Einschätzung der Arbeits (un) fähigkeit im Sinne der Rechtsprechung (<ref-ruling>) sind eindeutig nicht erfüllt. Dies festzustellen ist gerade die gesetzliche Aufgabe des RAD (Art. 59 Abs. 2 bis IVG). Die abschliessende Formulierung der MEDAS-Gutachter "Unter Berücksichtigung der gegenwärtigen qualitativen Einschränkungen und dem erhöhten Erholungsbedarf ist uns auch keine Ersatztätigkeit vorstellbar." ist viel zu vage und verkennt, dass die erhobenen Befunde die Ausführung einer leichten Tätigkeit durchaus noch zulassen.
5.2. Im Lichte der Rechtsprechung gemäss Urteil 9C_323/2009 vom 14. Juli 2009 E. 4.3 und 5.4 (in: SVR 2009 IV Nr. 56 S. 174) ist es nach den konkreten Umständen des Einzelfalles zulässig, dass die IV-Stelle sowie das kantonale Gericht abschliessend einem ohne eigene Untersuchungen zustande gekommenen RAD-Bericht und nicht einem in der Folgenabschätzung anders lautenden MEDAS-Gutachten entsprechen, ohne dass bei der Abklärungsstelle nachgefragt werden muss. Dr. med. F._, Facharzt Orthopädische Chirurgie und Traumatologie des Bewegungsapparates FMH, postulierte im MEDAS-Gutachten auch für eine leichte Verweistätigkeit nur eine Teilarbeitsfähigkeit, was sich mit den von ihm angegebenen - feststehenden - Befunden (Kombination einer schweren posttraumatischen Gonarthrose mit Extensionsdefizit von 20°, deutlich eingeschränkte linke Schulterbeweglichkeit, deutlicher Kraftverlust aufgrund einer AC-Gelenksarthrose, massig eingeschränkte Schulterbeweglichkeit und Beschwerden am linken oberen Sprunggelenk) nicht schlüssig begründen lässt, dies umso weniger, als seine zur Arbeitsunfähigkeit abgegebene Schätzung ersichtlicherweise von invaliditätsfremden Überlegungen geprägt ist (Alter 57, bildungsmässige Voraussetzungen, Vernünftigkeit einer Umschulung). In dieser Situation kann ohne Verletzung von Bundesrecht der abweichenden schlüssigen RAD-Stellungnahme zur Arbeitsfähigkeit gefolgt werden. Eine Rückfrage bei der MEDAS macht keinen Sinn, weil sie kein anderes Ergebnis zeitigen könnte, als dass die MEDAS entweder ihre Schätzung bestätigt oder davon abrückt, was beides nichts an der fehlenden Begründbarkeit des von der MEDAS postulierten Ausschlusses leichter Tätigkeiten änderte; hingegen sind keine unbekannt gebliebenen objektiven, insbesondere auch keine neuen medizinischen Aspekte zu erwarten, die eine abweichende Folgenabschätzung, in die eine oder andere Richtung, nahelegen oder gar gebieten würden, weshalb die Verwaltung und die Vorinstanz auf die Rückfrage bei der MEDAS verzichten durften. Die Beschwerde ist unbegründet.
6.
Bei diesem Verfahrensausgang hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. August 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Huber