Sachverhalt: A. Das Strafgericht des Kantons Zug sprach A._ am 14. August 2014 im abgekürzten Verfahren der mehrfachen Sachbeschädigung, der mehrfachen sexuellen Handlungen mit Kindern sowie der sexuellen Nötigung schuldig. Es bestrafte ihn mit einer Freiheitsstrafe von zwei Jahren und ordnete eine stationäre Massnahme im Sinne von Art. 59 StGB an. A._ (geb. 1994) forderte gemäss der Anklage am 16. Juli 2010 einen sechsjährigen Knaben in einer Garage auf, den Penis von A._ mit den Fingern und dem Mund zu berühren. Da sich der Knabe weigerte, nahm A._ seinerseits dessen Penis in den Mund. Am 25. Juni 2012 zog A._ beim Bahnhof Baar die Hose und Unterhose einer geistig behinderten erwachsenen Person herunter und berührte deren Penis. Zudem öffnete er seine eigene Hose. Auf ultimatives und klares Verlangen von A._ musste die betroffene Person auch den Penis von A._ berühren. Am 4. August 2012 liess A._ auf einem Kinderspielplatz die Hose eines anderen sechsjährigen Knaben herunter, berührte mit den Fingern und dem Mund dessen Penis und befriedigte sich anschliessend im Wald vor dem Knaben selbst (vgl. Urteil vom 14. August 2014 S. 2). A._ befand sich vom 10. Dezember 2012 bis zum 1. März 2013 im (vorzeitigen) Massnahmenvollzug auf der geschlossenen Abteilung im Pflegezentrum B._. Anschliessend erfolgte die Versetzung in eine geschlossene Kleingruppe der Institution Verein C._ in U._. Ab dem 1. August 2016 konnte er innerhalb dieser Institution in ein offenes Setting übertreten. Mit Verfügung vom 5. Dezember 2017 verlängerte das Strafgericht des Kantons Zug die Massnahme um längstens zwei Jahre. B. Der Vollzugs- und Bewährungsdienst des Kantons Zug (VBD) verfügte am 12. August 2019 die bedingte Entlassung von A._ aus der stationären therapeutischen Massnahme per 1. September 2019 (Dispositiv-Ziff. 1). Die Probezeit setzte er auf zwei Jahre fest (Dispositiv-Ziff. 2). Weiter erteilte er A._ für die Dauer der Probezeit die Weisungen, die deliktsorientierte psychotherapeutische Behandlung weiterzuführen und auf die Ausübung einer beruflichen oder organisierten ausserberuflichen Tätigkeit mit Minderjährigen zu verzichten (Dispositiv-Ziff. 3). Auf die Anordnung einer Bewährungshilfe wurde angesichts der bestehenden Vertretungsbeistandschaft verzichtet (E. 5 und Dispositiv-Ziff. 5). Den Platzierungsvertrag mit dem Verein C._ in U._ kündigte der VBD per 31. August 2019, da der VBD ab der bedingten Entlassung nicht mehr für die Kostentragung des Aufenthaltes zuständig sei. C. A._ gelangte gegen den Entscheid des VBD vom 12. August 2019 mit Beschwerde an das Verwaltungsgericht des Kantons Zug. Er beantragte im Wesentlichen, Ziff. 3 der Verfügung vom 12. August 2019 sei insofern abzuändern, als das Berufsverbot nur unter Vorbehalt der Arbeit als Hauswirtschafter im Verein C._ in U._ gelte. Zudem sei ihm folgende Weisung zu erteilen: "Fortsetzung des Aufenthalts im Verein C._ (oder einer anderen gutachterlich empfohlenen Institution) unter Kostentragungsgarantie durch den VBD (subsidiär zu anderen Kostenträgern gemäss Zivil-, Sozialversicherungs-, Sozialhilferecht etc.) ". In prozessualer Hinsicht verlangte er, es sei ein forensisch-psychiatrisches Ergänzungsgutachten u.a. zur Frage seiner Kompetenzen hinsichtlich selbstständigen Wohnens einzuholen. Das Verwaltungsgericht des Kantons Zug wies die Beschwerde am 17. Dezember 2019 ab. D. A._ beantragt mit Beschwerde in Strafsachen, das Urteil vom 17. Dezember 2019 sei aufzuheben und die Sache sei zu neuer Entscheidung an die Vorinstanz zurückzuweisen mit der Anweisung, ein ergänzendes forensisch-psychiatrisches Gutachten zur Frage seiner Unterbringung im Lichte der Deliktsprävention einzuholen. A._ ersucht um unentgeltliche Rechtspflege. E. Der VBD beantragt die Abweisung der Beschwerde. Die Vorinstanz verzichtete auf eine Stellungnahme. A._ reichte eine Replik ein.