Basilone ble født i barndomshjemmet som sjette barn av ti. Hans far, Salvatore Basilone, emigrerte fra Colle Sannita i provinsen Benevento i Italia i 1903 og slo seg ned i Raritan i New Jersey. Hans mor, Dora Bencivenga, ble født i 1889 og vokste opp i Manville, men hennes foreldre, Carlo og Catrina, kom også fra Benevento. Foreldrene møttes i kirken og giftet seg tre år etter. John Basilone vokste opp i Raritan Town (nå Borough of Raritan) der han gikk på St. Bernard Parochial School. Etter middelskolen sluttet han skolegangen i en alder av 15 år, uten å begynne på High School.