I 1908 og 1912 ble han siktet for overfall og ran, men ble frikjent for begge tilfellene. I en alder av 24 ble Costello dømt til ett års fengsel for å ha vært i besittelse av ett våpen.