Sachverhalt: A. A._ (geb. 1957), gelernter Landwirt und als solcher seit 1982 auf dem Anwesen B._ selbstständig erwerbstätig, meldete sich am 18. März 2010 wegen zunehmender Gonarthrose, vor allem aber Femoropatellararthrose links nach Kniedistorsion rechts am 24. Juni 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zug traf medizinische sowie berufliche Abklärungen und holte auf Einwand des Versicherten vom 5. Oktober 2012 ein polydisziplinäres Gutachten der GA eins GmbH Gutachtenstelle Einsiedeln (nachfolgend: MEDAS) vom 21. Oktober 2013 ein, das indessen wegen einer laufenden Opiat- und Steroidtherapie keine abschliessende Einschätzung des Gesundheitszustandes zuliess, so dass nach Absetzen dieser Behandlung bei der MEDAS eine polydisziplinäre Verlaufsabklärung in Auftrag gegeben wurde. Im entsprechenden Verlaufsgutachten vom 27. Februar 2015 attestierte die MEDAS bei gegenüber dem Vorgutachten unveränderten Diagnosen eine vollständige Arbeitsunfähigkeit sowohl als Landwirt als auch in einer angepassten Tätigkeit. Wie schon hinsichtlich des ersten Gutachtens (Stellungnahme des Regionalen Ärztlichen Dienstes [RAD] vom 3. Februar 2014), konnte sich der RAD auch der Arbeitsunfähigkeitsschätzung im Verlaufsgutachten nicht anschliessen (Stellungnahmen vom 23. März und 11. Mai 2015). Auf Einwand des Versicherten hin hielt der RAD an dieser Sichtweise mit Stellungnahme vom 6. Juli 2015 fest. Ausgehend von einer vollen Leistungsfähigkeit in angepasster Tätigkeit gelangte die IV-Stelle bei einem Valideneinkommen von Fr. 33'224.- als Landwirt und einem Invalidenlohn von Fr. 51'990.- zu einem Invaliditätsgrad von 0 %, was zur Ablehnung des Anspruchs auf eine Invalidenrente führte (Verfügung vom 19. August 2015). B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 30. März 2016 ab. C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des kantonalen Gerichtsentscheides sowie die Zusprechung einer ganzen Invalidenrente; eventualiter sei die Sache zwecks Aktenergänzung in Form der Einholung eines unabhängigen Obergutachtens und zur Neubeurteilung an die IV-Stelle zurückzuweisen. Während die Vorinstanz und die IV-Stelle auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.