John Gotti ble født i Bronx, New York. Hans familie flyttet inn i et tøft nabolag i Brooklyn da Gotti var 12 år gammel. Han hadde fire brødre som også gikk inn i mafiavirksomheten: Peter, Gene, Richard og Vincent. De tre førstnevnte var alle kjernemedlemmer av Gambino-familien, som John også var.