1995年至2003年间担任参议院的特别情报委员会（Select Committee on Intelligence）的主席，在任满8年后由于参议院的任期限制而不再连任。在柯林顿和布希任内谢尔比都对联邦政府的情报单位抱持敌对态度。他在1997年反对由安东尼·雷克担任中央情报局局长的提名，并承诺将会对中国使用美制卫星探测机密情报的事件展开调查。在2001年911事件后他也勐烈批评中央情报局局长乔治·泰内特的表现，当泰内特于2004年7月辞职时，谢尔比还评论道：「我对此一点也不感惊讶。我惊讶的是为何他能保住这个