詹姆斯·科洛钖莫由义大利移民到美国芝加哥。他到美国之后就开始加入帮派活动，很快就获得帮派大老的注意，在帮派中晋升。因为他喜欢穿着白西装，身上大量戴着镶有钻石的闪亮配件，得到钻石吉姆（Diamond Jim）的绰号。詹姆斯·科洛钖莫在芝加哥拥有超过100间妓院。1902年，与Victoria Moresco结婚。1909年，詹姆斯·科洛钖莫把他妻子的姪子强尼·托里奥，从纽约市布鲁克林区，带到芝加哥，作为帮手。1920年，詹姆斯·科洛钖莫在与他前妻Victoria Moresco离婚后，短暂离开芝加