Anthony Scaramucci vokste opp i en middelklassefamilie på Long Island i New York. Hans far var bygningsarbeider.