音乐学院毕业后，吉列尔斯进入莫斯科音乐学院，跟随钢琴家涅高兹学习，并重新开始举办音乐会。然而师生两人之间的关系并不十分融洽，涅高兹始终认为吉列尔斯只是个技巧出众的学生，对于他的音乐并不认可。直到1936年指挥家克伦佩勒到莫斯科和吉列尔斯合作演出了贝多芬第三钢琴协奏曲之后，涅高兹才终于表示这是“杰出的表演”。1936和1938年，吉列尔斯分别在维也纳音乐学院比赛和布鲁塞尔的伊丽莎白女王音乐比赛中获得第二名和第一名。尤其是在后者夺魁之后吉列尔斯声名大噪，流亡美国的苏联钢琴家拉赫玛尼诺夫听到吉列尔斯的广播录音