Pidgeon ble i stor grad assosiert med musikaler i 1930-årene, men da publikum etterhvert ble lei av disse, begynte hele hans skuespillerkarriere å skrante. Han ble degradert til å spille andre og mindre roller i filmer som og . En av hans bedre kjente roller fra denne tiden var i , der han spilte skurken. Denne filmen var løst basert på den amerikanske borgerkrigen og William C. Quantrill. Filmens stjernegalleri bestod av John Wayne, Claire Trevor og en ung Roy Rogers.