夕凡尼亚州费城的波兰移民，他改了他的名字，以适应在费城的爱尔兰帮派。达菲在年轻时参与轻微偷窃和其他轻罪，在青少年期间犯了更严重的罪行，包括于禁酒令期间在进行非法私酒之前曾经进行过武装抢劫和。1919年5月，达菲因意图袭击和殴打杀人而被捕，在费城的东州教养所中服役两年零十一个月。出狱后，禁酒令变成法律，而有组织犯罪集团开始走私、制造和销售非法酒精。他出狱后不久便与Edith Craig结婚。
势力崛起.到1920年代初，达菲已经成为在最佔支配地位的私酒贩之一，拥有在费城、肯顿和南