Castellano ble født i Brooklyn i 1915 og ble arrestert i 1934 for væpnet ran. Den nittenårige Castellano nektet å identifisere sine to kompanjonger for politiet, og ble dermed nødt til å tilbringe tre måneder i fengsel. Dette gav ham et godt rykte i den kriminelle underverdenen.