Sachverhalt: A. Mit Verfügung vom 9. Dezember 2008 sprach die IV-Stelle Zug W._ (Jg. 1941) für die Zeit ab 1. Juli 2003 bis zum Beginn des Altersrentenanspruchs am 1. Juni 2006 eine halbe Invalidenrente zu. Vom gesamten Nachzahlungsbetrag von Fr. 63'368.- wurden Fr. 22'707.60 zwecks Verrechnung mit einer wegen Überversicherung geltend gemachten Rückforderung an die Zürich Versicherungen (nachstehend: "Zürich") überwiesen. B. Das Verwaltungsgericht des Kantons Zug wies die gegen die Drittauszahlung an die "Zürich" gerichtete Beschwerde mit Entscheid vom 11. März 2010 ab. C. W._ lässt Beschwerde führen mit den Anträgen, es sei festzustellen, dass eine Verrechnung seiner Rentenansprüche mit dem geltend gemachten Anspruch der "Zürich" wegen Überversicherung durch die IV-Stelle unzulässig ist und kein direktes Rückforderungsrecht der "Zürich" gegenüber der IV-Stelle besteht; unter Aufhebung des kantonalen Entscheids sei die IV-Stelle zu verpflichten, ihm über den bereits zugesprochenen Betrag hinaus weitere Fr. 22'707.60 zuzüglich Verzugszins zu bezahlen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.