954年，布朗队搬到巴尔的摩，并改名为金莺。托利也成为第一位在金莺队新主场投球的投手。托利虽然这年的三振率高，但是控球并没有到非常出色。他送出了185次三振和181次保送。1954年球季，洋基队的5位先发投手艾利·雷诺斯、Eddie Lopat、强尼·塞恩、Tommy Byrne和Jim Konstanty全都超过35岁，其中雷诺斯更在球季结束后退休，因此洋基队急需年轻投手撑起先发轮值。于是金莺队和洋基队进行一场多达17名球员的交易案，金莺将托利、唐·拉森、Billy Hunter、Mike Blyzk