В 1956 году Гаффи снял ещё одну из своих памятных картин — боксёрский фильм нуар «Тем тяжелее падение» (1956) (вторая совместная работа с режиссёром Марком Робсоном). Как написал историк кино Эрик Шефер, «используя минимальную контрастность, Гаффи делает в этой картине акцент на сером. Чёрное перетекает в серое, которое перетекает в белое, придавая фильму по-настоящему монотонное воздействие. Операторская работа Гаффи ничего не скрывает, обнажая уродство спорта и пороки тех, кто пытается нажиться вокруг ринга. Значительная часть фильма происходит в постоянном сумраке спортивных залов и слабо освещённых гостиничных номеров, а очарование и блеск профессионального спорта вытеснены образами, которые жестоки, неприятны, а часто и уродливы. Хотя он способен и на глубину, построение композиции у Гаффи стремиться подчеркнуть плоскостное размещение людей на фоне стен или однообразных плоских поверхностей». За работу над этим фильмом Гаффи получил номинацию на Оскар.