Nach einem Engagement als Trainer der U-18-Junioren des DFB war Hrubesch seit dem 21. Juni 2013 erneut Trainer der U-21-Nationalmannschaft. Bei der U-21-EM 2015 scheiterte er mit seinem Team im Halbfinale mit 0:5 zwar deutlich an der portugiesischen Mannschaft, qualifizierte sich aber durch die Teilnahme am Halbfinale für das olympische Fußballturnier 2016 in Brasilien. Seit 1988 hatte keine deutsche Männerfußballmannschaft an Olympischen Spielen teilgenommen. Am Turnier nahm Hrubesch als Trainer mit der Olympiaauswahl teil und gewann mit ihr die Silbermedaille. Im Viertelfinale wurde Portugal mit 4:0 geschlagen, im Halbfinale Nigeria mit 2:0. Im Finale unterlag die deutsche Olympiamannschaft nach einem 1:1 der Mannschaft von Brasilien mit 4:5 im Elfmeterschießen. Mit dem Gewinn der Silbermedaille beim olympischen Fußballturnier 2016 in Rio de Janeiro endete vorläufig auch die Trainerlaufbahn Hrubeschs.