议员的存在感，必须打破古旧的体制才能焕然一新」，因此没有投票给同派的谷垣祯一，而是投给为公会（麻生派）的河野太郎。2010年10月，就任自民党影子内阁外务大臣。2010年在钓鱼岛海域发生中日撞船事件，小野寺发现Google地图同时标示日、中两国在钓鱼台列屿的地名（日本：尖阁诸岛、鱼钓岛；中国：钓鱼群岛、钓鱼岛），于是访问Google日本法人要求删除中方地名。2011年3月，东日本大地震，小野寺老家的住宅受海啸袭击全毁。2012年大选，自民党大获全胜重新执政，小野寺成为第二次安倍内阁的防卫大臣。