15 июля 2016 года олимпийская сборная Германии вызвала Гнабри для участия в Летних Олимпийских играх 2016 года. 4 августа он начал игру за сборную Германии против Мексики (2:2) и забил первый гол после 58-й минуты. Три дня спустя он утроил свой счет, забив два мяча в ворота сборной Южной Кореи (3:3), причём второй — штрафным ударом в компенсированное время, который помог сборной Германии заработать очко в ничьей. 10 августа забил ещё два гола в разгроме сборной Фиджи со счётом 10:0. В четвертьфинальном матче Германии против сборной Португалии он забил свой шестой гол на турнире незадолго до перерыва, и Германия выиграла со счетом 4:0. Он завершил турнир в качестве лучшего бомбардира вместе со своим товарищем по команде Нильсом Петерсеном, что помогло Германии завоевать серебряную медаль.