Browns nådde tittelkampen igjen i 1951 og 1952 men tapte begge årene. Speedie ledet NFL i mottakelser i 1951 og ble utnevnt til All-Pro førstelag, men kunne ikke spille i tittelkampen på grunn av en skade. I 1952 ble han utvalgt til Pro Bowl for andre gang. Etter sesongen forlot han Browns til fordel for å spille for Saskatchewan Roughriders i Western Interprovincial Football Union. Speedie var en uavhengig person, et personlighetstrekk som kolliderte med Browns dominerende trenerstil. «Han var en av de Paul Brown pirket ekstra mye på», ifølge tidligere lagkamerat Ken Carpenter. «Han hengte seg opp i Speedie uten en god grunn.» Speedie viste sin misnøye ved å ta med en skunk til treningsleiren i 1952 som han kalte «Paul». Brown gjorde det klart overfor Speedie at han ikke syns det var morsomt, og Speedie svarte at det var et nattdyr som var oppkalt etter Paul Revere.