Original: This isdriven by both an increase in the performance of the certifications themselves
Revised: driven by both an increase in the performance of the certifications themselves

Original: [Table]
Revised: [Table]

Original: and in the number ofinstances able to be certified in an improved fashion.
Revised: and in the number ofinstances able to be certified in an improved fashion.

Revised: This later property stems from the smoothing

Revised: [Table]

Original: This later property stems from the smoothinginfluence of σ , with larger levels of added noise inducing decreases in the difference betweenthe highest class expectations, improving the ability for our search based mechanisms to identifyperformance improvements.
Revised: influence of σ , with larger levels of added noise inducing decreases in the difference between [Table] the highest class expectations, improving the ability for our search based mechanisms to identify [Table]

Original:  Here increases in the performance of the boundary treatment arecorrelated with larger radii of certification, due to the multiplicative influence of σ upon Equation (3).
Revised: performance improvements. Here increases in the performance of the boundary treatment are [Table] correlated with larger radii of certification, due to the multiplicative influence of σ upon Equation (3).

Original: Numerical performance
Revised: Numerical performance

Original: The numerical optimisation process at the core of our certification processinherently induces increases in the computational cost of finding these improved certifications, asshown in Table 1.
Revised: The numerical optimisation process at the core of our certification processinherently induces increases in the computational cost of finding these improved certifications, asshown in Table 1.

Original: While analytically approximating the derivatives for the first eccentric hypersphereyields lower Certified Proportions
Revised: While analytically approximating the derivatives for the first eccentric hypersphereyields lower Certified Proportions

Original: [Table]
Revised: [Table]

Original: accuracy, the fact that the corresponding computational cost decreases by a factor of more than 4 emphasises the value of this approach.
Revised: accuracy, the fact that the corresponding computational cost decreases by a factor of more than 4 emphasises the value of this approach.

Original: Interestingly,while the Approximate method does also utilise auto-differentiation for the Double variant, theincrease in computational cost from the Single to Double variants is significantly higher than for the
Revised: Interestingly,while the Approximate method does also utilise auto-differentiation for the Double variant, theincrease in computational cost from the Single to Double variants is significantly higher than for the

Original: Actual approach.
Revised: Actual approach.

Original: This is surprising, as the Approx variant derives smaller values of r ′ , which shouldin turn lead to a smaller, easier to navigate search space for r ′′ .
Revised: This is surprising, as the Approx variant derives smaller values of r ′ , which shouldin turn lead to a smaller, easier to navigate search space for r ′′ .

Original: Instead it counter-intuitively appearsthat a smaller r ′ induces a search space for r ′′ which is less convex, and more difficult to convergeupon.[Table] [Figure] [Table]
Revised: Instead it counter-intuitively appearsthat a smaller r ′ induces a search space for r ′′ which is less convex, and more difficult to convergeupon.

Original: [Figure]
Revised: [Figure]

Original: [Table][Figure] [Table] [Figure]
Revised: [Table]

Original: [Table]

Original: [Figure][Table] [Figure] [Table]
Revised: [Figure]

Original: [Figure]

Original: [Table][Figure] [Table] [Figure]
Revised: [Table]

Original: [Table]

Original: [Figure]
Revised: [Figure]

Original: Certified

Original: [Table]
Revised: [Table]

Original: achieved
Revised: our

Original: [Table]
Revised: [Table]

Original: by
Revised: to

Original: [Table]
Revised: [Table]

Original: each (cid:58)(cid:58)(cid:58) of [Table] our
Revised: The

Original: [Table]
Revised: [Table]

Original: approaches (cid:58) relative to Cohen et al.

Original: for Tiny-Imagenet across (cid:58)(cid:58)

Original: the
Revised: was

Original: [Table]
Revised: [Table]

Original: level (cid:58)(cid:58) of

Original: [Table] additive (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) noise (cid:58) σ . [Table] The (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58)(cid:58) was (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) chosen (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide
Revised: provide

Original: [Table]
Revised: [Table]

Original: Limitations While our focus was on L 2 -norm bounded perturbations was driven by the Cohenguarantee of best possible certifications, the the principles of our Geometrically Informed Certi- [Table] fied Robustness are extensible to other spaces.
Revised: Limitations While our focus was on L 2 -norm bounded perturbations was driven by the Cohenguarantee of best possible certifications, the the principles of our Geometrically Informed Certified Robustness are extensible to other spaces.

Original: However, as with prior certification approaches wehave only considered bounded perturbations without extending to translations, rotations
Revised: However, as with prior certification approaches wehave only considered bounded perturbations without extending to translations, rotations

Original: [Table]
Revised: [Table]

Original: or other [Table] functional
Revised: or otherfunctional

Original: [Table] [Table]
Revised: [Table] [Table]

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) guarantee (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) best (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) possible (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) this (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) space (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provided (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Cohen (cid:58) et 327 al.
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) guarantee (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) best (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) possible (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) this (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) space (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provided (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Cohen (cid:58) et 331 al.

Original: (cid:58) .
Revised: (cid:58) .

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: Further (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) experimentation (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) could (cid:58)(cid:58)(cid:58)(cid:58) also (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) consider (cid:58)(cid:58)(cid:58)(cid:58) both 
Revised: Further (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) experimentation (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) could (cid:58)(cid:58)(cid:58)(cid:58) also (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) consider (cid:58)(cid:58)(cid:58)(cid:58) both (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) these (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) general (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spaces (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) broader (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) range (cid:58)(cid:58) of(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) training (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) methods, (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) have (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) shown (cid:58)(cid:58) to (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58) able (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) tighten (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: and

Original: [Table]

Original: [Table]
Revised: [Table]

Original: Finally we note that the generation of guarantees of certified robustness (cid:58)(cid:58)
Revised: Finally we note that the generation of guarantees of certified robustness (cid:58)(cid:58)

Original: We (cid:58)(cid:58)(cid:58)(cid:58) note (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) enhanced
Revised: We (cid:58)(cid:58)(cid:58)(cid:58) note (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) enhanced

Original: [Table]
Revised: [Table]

Original: robustness (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification have the potential to counter beneficial applications of adversarial attacks,such as those used to promote stylometric privacy [3].
Revised: robustness [Table] certification have the potential to counter beneficial applications of adversarial attacks,such as those used to promote stylometric privacy [3].

Original: However, we believe that these drawbacksare (cid:58)(cid:58)(cid:58) this (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) drawbacks (cid:58)(cid:58) is (cid:58) significantly outweighed by the advantage of being able to understandthe behaviour of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: However, we believe that these drawbacksare (cid:58)(cid:58)(cid:58) this (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) drawbacks (cid:58)(cid:58) is (cid:58) significantly outweighed by the advantage of being able to understandthe behaviour of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: about models for which incentives exist foradversarial behaviour.
Revised: requires (cid:58)(cid:58) M (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) evaluations (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certified (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) robustness,(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58)(cid:58)(cid:58) each (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) require (cid:58)(cid:58) N (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: However, achieving this does increase the computational cost and associated [Table] [Table] [Table]
Revised: Monte-Carlo (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) draws, (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) resulting (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) time- and associated energy use,

Original: [Table] [Table]
Revised: however(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) memory-complexity (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) O ( MN ) (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) O ( NS ) (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) respectively, (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) where (cid:58)(cid:58) S (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) size (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) output (cid:58)(cid:58)(cid:58)(cid:58) logit(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) vector. (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) With (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) respect (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) memory-complexity, (cid:58)(cid:58)(cid:58) this (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) shared (cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58) any (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) randomised (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) smoothing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) based(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approach, (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) could (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improved (cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) implementing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: evaluations (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Monte-Carlo(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) expectations, (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58) turn (cid:58)(cid:58)(cid:58)(cid:58)
Revised: across

Original: each (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) require (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) N ≫ 100 (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) model (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) draws.
Revised: [Table] While [Table] be

Original: (cid:58)(cid:58)(cid:58)(cid:58)
Revised: [Table] in [Table]

Original: This (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) computational (cid:58)(cid:58)(cid:58)(cid:58) cost (cid:58)(cid:58)(cid:58)(cid:58) may (cid:58)(cid:58) be(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) burdensome (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) some (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) contexts, (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) imposes (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additional (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) energy (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) computational (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) costs, however we 341 believe thatthe (cid:58)(cid:58)(cid:58)(cid:58) cost (cid:58)(cid:58)(cid:58)(cid:58) may (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) more (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) worth (cid:58)(cid:58)
Revised: we [Table] that

Original: [Table]
Revised: [Table]

Revised: this

Original: [Table]
Revised: [Table]

Original: emphasis (cid:58)(cid:58)(cid:58) has (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)on (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) demonstrating(cid:58)(cid:58) the  (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) performance (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: framework (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58) both (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) requires(cid:58)(cid:58)(cid:58)(cid:58) both (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) fewer (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) adaptations (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) training (cid:58)(cid:58)(cid:58)(cid:58) loop (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) significantly (cid:58)(cid:58)(cid:58) less

Original: Geometrically (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Informed (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Certified (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Robustness, (cid:58)(cid:58)(cid:58) we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) believe (cid:58)(cid:58)(cid:58)(cid:58) 
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) training (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) time (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) relative (cid:58)(cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) bound (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) propagation (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approaches (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Moreover, (cid:58)(cid:58)(cid:58) we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) believe (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) time-costs (cid:58)(cid:58)(cid:58)(cid:58)

Original: that (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) computational(cid:58)(cid:58)(cid:58)(cid:58) costs (cid:58)(cid:58)(cid:58)(cid:58) can (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) reduced (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) performing (cid:58)(cid:58)(cid:58) 
Revised: can (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) reduced (cid:58)(cid:58)(cid:58) by(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) performing (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) optimisation

Original: the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) optimisation (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) stages (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) N ′ <
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) stages (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) N ′ <

Original: N (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) model (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) draws, (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58) by(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) potentially (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: N (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) model (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) draws, (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) potentially (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) reusing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) model

Original: [Table]
Revised: [Table]

Revised: draws (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) across (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) iterative (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) process (cid:58)(cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approach (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) O

Revised: ( N ) (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Revised: time-complexity (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) prior (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) randomised(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) smoothing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Revised: based (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certifications.

Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Even (cid:58)(cid:58) at (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) present, (cid:58) we believe that the increased computational cost is not intractable, especially when these techniques are incorporated into (cid:58)(cid:58) for (cid:58) human-in-the-loopcertification systems.

Original:  Conclusions
Revised:  Conclusions

Original: This work has presented mechanisms that can be exploited to improve achievable levels of certifiedrobustness, based upon exploiting underlying geometric properties of robust neural networks.
Revised: This work has presented mechanisms that can be exploited to improve achievable levels of certifiedrobustness, based upon exploiting underlying geometric properties of robust neural networks.

Original: In doingso our Geometrically Informed Certified Robustness approach has been able to generate certificationsthat exceed prior guarantees by on average more than 5% at σ = 0 .
Revised: In doingso our Geometrically Informed Certified Robustness approach has been able to generate certificationsthat exceed prior guarantees by on average more than 5% at σ = 0 .

Original: 5 , with the percentage increaseimproving quasi-linearly with σ .
Revised: 5 , with the percentage increaseimproving quasi-linearly with σ .

Original: Being able to improve upon the size of these guarantees inherentlyincreases the cost of constructing adversarial attacks against systems leveraging machine learning,especially in the case where the attacker has no ability to observe the size of the robustness certificate.Checklist For all authors...
Revised: Being able to improve upon the size of these guarantees inherentlyincreases the cost of constructing adversarial attacks against systems leveraging machine learning,especially in the case where the attacker has no ability to observe the size of the robustness certificate.

Original: (a) Do the main claims made in the abstract and introduction accurately reflect the paper’s

Original: contributions and scope?

Original: [Yes]

Original: (b) Did you describe the limitations of your work?

Original: [Yes]

Original: In the Limitations section of

Original: Section

Original: (c) Did you discuss any potential negative societal impacts of your work?

Original: [Yes]

Original: In theLimitations section of Section

Original: (d) Have you read the ethics review guidelines and ensured that your paper conforms to

Original: them?

Original: [Yes]

Original: If you are including theoretical results...

Original: (a) Did you state the full set of assumptions of all theoretical results?

Original: [Yes]

Original: (b) Did you include complete proofs of all theoretical results?

Original: [Yes]

Original: If you ran experiments...

Original: (a) Did you include the code, data, and instructions needed to reproduce the main experi-

Original: mental results (either in the supplemental material or as a URL)?

Original: [Yes] This has been

Original: included in the supplementary materials, with license details included therein.

Original: (b) Did you specify all the training details (e.g., data splits, hyperparameters, how theywere chosen)?

Original: [Yes]

Original: In Section

Original: (c) Did you report error bars (e.g., with respect to the random seed after running ex-

Original: periments multiple times)?

Original: [No] As all experimental results are based upon metrics

Original: calculated over more than 1000 samples, the size of the underlying error bars are small

Original: enough to be negligible.

Original: (d) Did you include the total amount of compute and the type of resources used (e.g., type

Original: of GPUs, internal cluster, or cloud provider)?

Original: [Yes]

Original: In Section

Original: If you are using existing assets (e.g., code, data, models) or curating/releasing new assets...

Original: (a) If your work uses existing assets, did you cite the creators?

Original: [Yes]

Original: (b) Did you mention the license of the assets?

Original: [Yes] In Appendix A.1.

Original: (c) Did you include any new assets either in the supplemental material or as a URL?

Original: [No]

Original: (d) Did you discuss whether and how consent was obtained from people whose data you’re

Original: using/curating?

Original: [N/A]

Original: (e) Did you discuss whether the data you are using/curating contains personally identifiable

Original: information or offensive content?

Original: [N/A]

Original: If you used crowdsourcing or conducted research with human subjects...

Original: (a) Did you include the full text of instructions given to participants and screenshots, if

Original: applicable?

Original: [N/A]

Original: (b) Did you describe any potential participant risks, with links to Institutional Review

Original: Board (IRB) approvals, if applicable?

Original: [N/A]

Original: (c) Did you include the estimated hourly wage paid to participants and the total amount

Original: spent on participant compensation?

Original: [N/A]

Original: A Appendix
Revised: A Appendix

Original: A.1 Algorithmic details
Revised: A.1 Algorithmic details

Original: Algorithm 2 supports Algorithm 1 by demonstrating how the class prediction and expectations arecalculated.
Revised: Algorithm 2 supports Algorithm 1 by demonstrating how the class prediction and expectations arecalculated.

Original: Of note are two minor changes from prior implementations of this certification regime.
Revised: Of note are two minor changes from prior implementations of this certification regime.

Original: The first is the addition of the Gumbel-Softmax on line 4 , although this step is only required for the‘Full’ derivative approach.
Revised: The first is the addition of the Gumbel-Softmax on line 4 , although this step is only required for the‘Full’ derivative approach.

Original: In contrast th ‘Approximate’ techniques able to circumvent this limitationand can be applied directly to the case where the class election is determined by an arg max .
Revised: In contrast th ‘Approximate’ techniques able to circumvent this limitationand can be applied directly to the case where the class election is determined by an arg max .

Original: The second difference to prior works is the calculation of the lower and upper bounds on z 0 and z 1 online 8 .
Revised: The second difference to prior works is the calculation of the lower and upper bounds on z 0 and z 1 online 8 .

Original: Our initial testing revealed that when we employed either Sison-Glaz [31] or Goodman et al.[13] to estimate the multivariate class uncertainties, some Tiny-Imagenet samples devoted more than95% of their computational time of the process to evaluating the confidence intervals, significantlyoutweighing even the costly process of model sampling.
Revised: Our initial testing revealed that when we employed either Sison-Glaz [36] or Goodman et al.[14] to estimate the multivariate class uncertainties, some Tiny-Imagenet samples devoted more than95% of their computational time of the process to evaluating the confidence intervals, significantlyoutweighing even the costly process of model sampling.

Original: Further investigation revealed that this wasoccurring when there were a significant number of classes reporting counts of approximately 0 , thelikelihood for which was higher in Tiny-Imagenet due to the increased class count relative to MNISTand CIFAR- 10 .
Revised: Further investigation revealed that this wasoccurring when there were a significant number of classes reporting counts of approximately 0 , thelikelihood for which was higher in Tiny-Imagenet due to the increased class count relative to MNISTand CIFAR- 10 .

Original: To resolve this, we coalesced all classes where y j < 5 into one single meta-classwith an associated class-count y ′ = max(5 , (cid:80)
Revised: To resolve this, we coalesced all classes where y j < 5 into one single meta-classwith an associated class-count y ′ = max(5 , (cid:80)

Original: y j < 5 y j , which conforms with the requirements of
Revised: y j < 5 y j , which conforms with the requirements of

Original: Goodman et al.
Revised: Goodman et al.

Original: [13] that all class counts must be greater than 5 .
Revised: [14] that all class counts must be greater than 5 .

Original: Our testing demonstrated thatwhile this process slightly decreased the resulting radii (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius (cid:58) of certification (due to small changesin z 0 and z 1 ), the associated decrease in computational time was significant enough to justify thismodification.
Revised: Our testing demonstrated thatwhile this process slightly decreased the resulting radii (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius (cid:58) of certification (due to small changesin z 0 and z 1 ), the associated decrease in computational time was significant enough to justify thismodification.

Original: We also note that all the experiments contained within this work have been conducted againstpublically releaed datasets with established licenses.
Revised: We also note that all the experiments contained within this work have been conducted againstpublically releaed datasets with established licenses.

Original: MNIST exists under a GNU v 3 . 0 license;
Revised: MNIST exists under a GNU v 3 . 0 license;

Original: CIFAR-
Revised: CIFAR-

Original: 10 employs a MIT license; and Imagenet employs a BSD 3 − Clause license.
Revised: 10 employs a MIT license; and Imagenet employs a BSD 3 − Clause license.

Original: A. 
Revised: A.

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: Ramifications (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) dimensionality (cid:58)(cid:58)(cid:58) for (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) n > 3(cid:58)(cid:58)
Revised: Ramifications (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) dimensionality (cid:58)(cid:58)(cid:58) for (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) n > 3(cid:58)(cid:58)

Original: To (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improve (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: To (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improve (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Revised: [Table]

Original: manifold (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) marks (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) between (cid:58)(cid:58)(cid:58) S 2 (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58) S 3 .
Revised: manifold (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) marks (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) between (cid:58)(cid:58)(cid:58) S 2 (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58) S 3 .

Original: (cid:58)(cid:58)(cid:58) In(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) two-dimensions—as (cid:58)(cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58) used (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) examplar (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Figure (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)1a—this (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) takes (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) form (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) two(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) points. (cid:58)(cid:58)(cid:58) If (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Lemma’s (cid:58)(cid:58)(cid:58) 3.3 (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58) 3.4 (cid:58)(cid:58)(cid:58) are (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hold, (cid:58)(cid:58)(cid:58)(cid:58) then (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) encompasing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) S 2 ∩ S 3 (cid:58)(cid:58)(cid:58)(cid:58) will (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) require (cid:58)(cid:58)(cid:58)(cid:58) two (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additional(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58) to (cid:58)(cid:58) be ( cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) identified.(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58) In(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) two-dimensions—as (cid:58)(cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58) used (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) examplar (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Figure (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) will (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) require (cid:58)(cid:58)(cid:58)(cid:58) two (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additional(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58) to (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) identified.(cid:58)(cid:58)

Original: In (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) case (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) where (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) d = 3 , (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) between (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) these (cid:58)(cid:58)(cid:58) two (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the(cid:58)(cid:58)(cid:58)(cid:58) circle (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (equivalent (cid:58)(cid:58) to (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) d
Revised: In (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) case (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) where (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) d = 3 , (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) between (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) these (cid:58)(cid:58)(cid:58) two (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the(cid:58)(cid:58)(cid:58)(cid:58) circle (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (equivalent (cid:58)(cid:58) to (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) d

Original: = 2 (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere) (cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius
Revised: = 2 (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere) (cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius

Original: [Equation]
Revised: [Equation]

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (21) (cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (21) (cid:58)(cid:58)(cid:58)(cid:58)

Original: Thus (cid:58)(cid:58)(cid:58) any (cid:58)(cid:58)(cid:58) set (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spheres (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) {S 2 , S 3 , . .
Revised: Thus (cid:58)(cid:58)(cid:58) any (cid:58)(cid:58)(cid:58) set (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spheres (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) {S 2 , S 3 , . .

Original: . , S n } (cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) uniformly (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) cover (cid:58)(cid:58) all (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) points (cid:58)(cid:58) on (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) this(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) surface (cid:58)
Revised: . , S n } (cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) uniformly (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) cover (cid:58)(cid:58) all (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) points (cid:58)(cid:58) on (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) this(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) surface (cid:58)

Original: if (cid:58)(cid:58)(cid:58) we (cid:58)(cid:58)(cid:58)(cid:58) seek (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improve (cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) achieved (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification.
Revised: if (cid:58)(cid:58)(cid:58) we (cid:58)(cid:58)(cid:58)(cid:58) seek (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improve (cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) achieved (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification.

Original: (cid:58)(cid:58)
Revised: (cid:58)(cid:58)

Original: To (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide (cid:58)(cid:58) an (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) indicative (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) example (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) how (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) complexity (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) region (cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) encircled (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) grows(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) underlying (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)[Table] be
Revised: To (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide (cid:58)(cid:58) an (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) indicative (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) example (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) how (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) complexity (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) region (cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) encircled (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) grows(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) underlying (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: V d (˜ r ) =

Original: ˜ r d π d/Γ ` d 2 +˘ ,

Original: [Table]

Original: [Table]
Revised: [Table]

Original: (cid:58)(cid:58) an (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) associated (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) surface (cid:58)(cid:58)(cid:58)(cid:58) area (cid:58)(cid:58)

Original: of(cid:58)(cid:58)(cid:58)(cid:58)

Original: Thus (cid:58)(cid:58) if (cid:58)(cid:58) S 2 (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58)(cid:58) S 3 (cid:58)(cid:58)(cid:58) are (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: d

Original: -dimensional

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres, (cid:58)(cid:58)(cid:58) then (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) their (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) region (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58) turn (cid:58)(cid:58) be(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) ( d − 1) -dimensional (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere, (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) exterior

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) scales (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58) ˜
Revised: boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) scales (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58) ˜

Original: r
Revised: r

Original: d − 2 .
Revised: d − 2 .

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: While (cid:58)(cid:58) ˜
Revised: While (cid:58)(cid:58) ˜

Original: r (cid:58)(cid:58)(cid:58)(cid:58) may(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58) less (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58) 1 , (cid:58)(cid:58) it (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) should (cid:58)(cid:58)(cid:58) also (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58) true (cid:58)(cid:58)(cid:58)(cid:58)
Revised: r (cid:58)(cid:58)(cid:58)(cid:58) may(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58) less (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58) 1 , (cid:58)(cid:58) it (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) should (cid:58)(cid:58)(cid:58) also (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58) true (cid:58)(cid:58)(cid:58)(cid:58)

Original: that (cid:58)(cid:58)(cid:58) any (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additional (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spheres (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) likely (cid:58)(cid:58)(cid:58)(cid:58) have (cid:58)(cid:58)(cid:58) an (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) associated (cid:58)(cid:58)(cid:58)(cid:58) radii(cid:58)(cid:58)(cid:58) less (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58) ˜ r .(cid:58)(cid:58)(cid:58) As (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) such (cid:58)(cid:58)(cid:58)(cid:58) there (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: that (cid:58)(cid:58)(cid:58) any (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additional (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spheres (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) likely (cid:58)(cid:58)(cid:58)(cid:58) have (cid:58)(cid:58)(cid:58) an (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) associated (cid:58)(cid:58)(cid:58)(cid:58) radii(cid:58)(cid:58)(cid:58) less (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58) ˜ r .

Original: [Table] be [Table] manifold (cid:58)(cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)the (cid:58)(cid:58)(cid:58) size (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spheres (cid:58)(cid:58)(cid:58)(cid:58) over (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58)(cid:58) we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would(cid:58)(cid:58)(cid:58)(cid:58) seek (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) enclose (cid:58)(cid:58)(cid:58)(cid:58) said (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) manifold.
Revised: (cid:58)(cid:58)(cid:58)

Original:  (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) This (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) underscores (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) complexity (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) finding (cid:58) a (cid:58)(cid:58)(cid:58) set (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58) to(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) encircle (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) S 2 ∩ S 3 . (cid:58)
Revised: As (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) such (cid:58)(cid:58)(cid:58)(cid:58) there (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) appear (cid:58)(cid:58) to (cid:58)(cid:58) be (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) power-law (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) proportionality (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) with (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) respect (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: (cid:58)(cid:58)
Revised: (cid:58)(cid:58)

Original: To (cid:58)(cid:58)(cid:58)(cid:58) give (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) further (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) evidence (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) growth (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) complexity, (cid:58)(cid:58) let (cid:58)(cid:58)(cid:58) us (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) consider (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) unit-hypersphere (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) R d (cid:58)(cid:58)(cid:58) that(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) represents (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)intersection (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) two (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: To (cid:58)(cid:58)(cid:58)(cid:58) give (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) further (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) evidence (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) growth (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) complexity, (cid:58)(cid:58) let (cid:58)(cid:58)(cid:58) us (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) consider (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) unit-hypersphere (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) R d (cid:58)(cid:58)(cid:58) that(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) represents (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: R d +1 .
Revised: [Table]

Original: (cid:58)(cid:58)(cid:58)(cid:58) The (cid:58)(cid:58)(cid:58)(cid:58) task (cid:58)(cid:58) of(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) covering (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) such (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) similar (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) sphere (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) packing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) kissing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) number (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) k
Revised: upon (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) surface (cid:58)(cid:58) of (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) d -dimensional(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere.

Original: ( d ) (cid:58)(cid:58)(cid:58) [8], (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) describes (cid:58)(cid:58)(cid:58) the  (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) number(cid:58)(cid:58) of(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) touching-but-not-overlapping (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) unit-hyperspheres (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58) can (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) exist (cid:58)(cid:58)(cid:58)(cid:58) upon (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) surface (cid:58)(cid:58) of (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) d -dimensional(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere. (cid:58)(cid:58)(cid:58) To (cid:58)(cid:58)(cid:58)(cid:58) date, (cid:58)(cid:58)(cid:58) 
Revised: (cid:58)(cid:58)(cid:58) To (cid:58)(cid:58)(cid:58)(cid:58) date, (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) kissing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) number (cid:58)(cid:58)(cid:58) has (cid:58)(cid:58)(cid:58)(cid:58) only (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) solved (cid:58)(cid:58)(cid:58) for (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) following (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: [Table] exhibit (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) exponential (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) growth (cid:58)(cid:58)(cid:58) [4] (cid:58) .(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Within (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) context (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) this (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) work, (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) kissing (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) number (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) considered (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) significant(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) under-estimate (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) number (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) spheres (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) required (cid:58)(cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) found, (cid:58)(cid:58) as (cid:58)(cid:58)(cid:58) we(cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) cover (cid:58)(cid:58)(cid:58) all (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) space (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) around (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) central (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) sphere (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (rather (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58)(cid:58)(cid:58) just (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)maximising (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) number (cid:58)(cid:58) of(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) without (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection), (cid:58)(cid:58)(cid:58)(cid:58)
Revised: that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) required (cid:58)(cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) found, (cid:58)(cid:58) as (cid:58)(cid:58)(cid:58) we(cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) cover (cid:58)(cid:58)(cid:58) all (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) space (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) around (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) central (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) sphere (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) (rather (cid:58)(cid:58)(cid:58)(cid:58) than (cid:58)(cid:58)(cid:58)(cid:58) just (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: encircled. (cid:58)(cid:58)(cid:58) As (cid:58)(cid:58)(cid:58)(cid:58) such, (cid:58)(cid:58)(cid:58) we (cid:58)(cid:58)(cid:58)(cid:58) can (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) highly (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) confident(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) growth (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) complexity (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58) task (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) enclosing (cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) boundary (cid:58)(cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) intersection (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) beyond (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58) set (cid:58)(cid:58) of(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hyperspheres (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) {S 1 , S 2 , S 3 } (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) exponential.
Revised: [Table]

Original: (cid:58)(cid:58)(cid:58)(cid:58) We (cid:58)(cid:58)(cid:58)(cid:58) must (cid:58)(cid:58)(cid:58)(cid:58) also (cid:58)(cid:58)(cid:58)(cid:58) note (cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) even (cid:58)(cid:58) if (cid:58) it (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) were (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) possible (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) perform (cid:58)(cid:58)(cid:58)(cid:58) such (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) bounding (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) operation, (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) gains (cid:58)(cid:58) in [Table] certified {+(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) from (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) a ( r ′ ) 
+}
Revised: from (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) case (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) where (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) n = 3 (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) n > 3 (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58)(cid:58) only (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) increase (cid:58)(cid:58) the(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certified {+(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) from (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) a ( r ′ ) 
+}

Original: [Table]{++ (˘ r ) 
+}
Revised: {++ (˘ r ) 
+}

Original: radius (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58) be (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) exceedingly
Revised: (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) a ( r ′ )

Original: [Table] minor [Table] If
Revised: 2 + 9(˘ r ) 2 ,

Original: [Table]
Revised: [Table]

Original:  the [Table] region
Revised: which (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) trivial (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) relative (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) increase (cid:58)(cid:58) in

Original: [Table]
Revised: [Table]

Original: of [Table] between (cid:58)(cid:58)(cid:58) S 2 (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58) S 3 (cid:58)(cid:58)(cid:58) was(cid:58) a (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) hypersphere (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius (cid:58)(cid:58) ˘ r , (cid:58)(cid:58)(cid:58)(cid:58) then (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) going (cid:58)(cid:58)(cid:58)(cid:58) from (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) case (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) where (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) n = 3 (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) n > 3 (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) would (cid:58)(cid:58)(cid:58)(cid:58) only (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) increase (cid:58)(cid:58) the(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certified (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) radius (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) from (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) a ( r ′ ) 2 + (˘ r ) 2 (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) a ( r ′ ) 2 + 9(˘ r ) 2 , (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) which (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) trivial (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) relative (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) increase (cid:58)(cid:58) in(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) computational (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: complexity.

Original: [Table]
Revised: [Table]

Original: A.3 Relative performance for MNIST and CIFAR-10
Revised: A.3 Relative performance for MNIST and CIFAR-10

Original: While Figure 2 presents the best performing certified proportion (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) accuracy, it is important to understandthe relative performance of the Single Transitivity, Double Transitivity, and Boundary treatments, ina similar fashion to Figures 3 and 4.
Revised: While Figure 2 presents the best performing certified proportion (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) accuracy, it is important to understandthe relative performance of the Single Transitivity, Double Transitivity, and Boundary treatments, ina similar fashion to Figures 3 and 4.

Original: In the case of MNIST, while the percentage increases exhibitedin Figure 6 as r 1 → 1 are broadly similar to their Tiny-Imagenet counterpart for the Approximatesolver, the difference between those results and the Full derivative treatment is significantly smaller,especially at σ = 1 .
Revised: In the case of MNIST, while the percentage increases exhibitedin Figure 6 as r 1 → 1 are broadly similar to their Tiny-Imagenet counterpart for the Approximatesolver, the difference between those results and the Full derivative treatment is significantly smaller,especially at σ = 1 .

Original: This may, in part, be driven by the 1500 samples employed when using MNISTand CIFAR- 10 , in contrast to 1000 for Tiny-Imagenet, which should decrease the uncertainty of thegradient estimation steps.
Revised: This may, in part, be driven by the 1500 samples employed when using MNISTand CIFAR- 10 , in contrast to 1000 for Tiny-Imagenet, which should decrease the uncertainty of thegradient estimation steps.

Original: However, the fact that this decreased difference in performance holds for CIFAR- 10 at σ = 1 .
Revised: However, the fact that this decreased difference in performance holds for CIFAR- 10 at σ = 1 .

Original: 0but not σ = 0 .
Revised: 0but not σ = 0 .

Original: 5 suggests that the performance difference between the techniques is also dependentupon the semantic complexity of the prediction task.
Revised: 5 suggests that the performance difference between the techniques is also dependentupon the semantic complexity of the prediction task.

Original: While CIFAR- 10 is a more complex predictiveenvironment than MNIST, which should increase the complexity of the gradient based search routineemployed within this work, the increased level of noise at σ = 1 . 0 has a smoothing influence thatdecreases the complexity of the search task, and it would appear that this is the primary driver of therelative under performance of the Approximate derivatives in both Tiny-Imagenet and CIFAR-
Revised: While CIFAR- 10 is a more complex predictiveenvironment than MNIST, which should increase the complexity of the gradient based search routineemployed within this work, the increased level of noise at σ = 1 . 0 has a smoothing influence thatdecreases the complexity of the search task, and it would appear that this is the primary driver of therelative under performance of the Approximate derivatives in both Tiny-Imagenet and CIFAR-

Original: 10when
Revised: 10when

Original: σ = 0 .
Revised: σ = 0 .

Original: [Figure]
Revised: When considering the median percentage improvement (relative to Cohen et al. ) of these techniques, MNIST again reveals interesting properties when we consider Figure 10. When compared to CIFAR10 and Tiny-Imagenet (in Figures 11 and 5) it becomes apparent that the Approximate approachonly produces consistently larger certifications in MNIST. Given the increased uncertainty in thederivatives calculated by the Approximate technique, this would suggest that the approximate solver

Original: [Figure]
Revised: [Figure]

Revised: [Figure]

Original: [Figure]
Revised: [Figure]

Original: ag
Revised: ag

Original: [Figure]
Revised: [Figure]

Original: [Figure]
Revised: [Figure]

Original: presents (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improvement (cid:58)(cid:58)(cid:58)(cid:58) over (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: presents (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improvement (cid:58)(cid:58)(cid:58)(cid:58) over (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [ r − 0 .
Revised: [ r − 0 .

Original: 075 , r + 0 . 075] .
Revised: 075 , r + 0 . 075] .

Original: Equivalent figures for Tiny-Imagenet can be seen in Figure
Revised: Equivalent figures for Tiny-Imagenet can be seen in Figure

Original: [Figure]
Revised: [Figure]

Original: Certified (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) Radius (cid:58) of CIFAR- 10 instances relative to Cohen et al. . (cid:58)(cid:58) for (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) varying (cid:58)(cid:58) r . (cid:58)(cid:58)(cid:58)(cid:58) This (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) measure (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) presents (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median
Revised: [Table]

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improvement (cid:58)(cid:58)(cid:58)(cid:58) over (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: over [Table]

Original: [ r − 0 .
Revised: [ r − 0 .

Original: 075 , r + 0 . 075] .
Revised: 075 , r + 0 . 075] .

Original: (cid:58) Equivalent figures for Tiny-Imagenet can be seen in Figure When considering the median percentage improvement (relative to Cohen et al. ) of these techniques, MNIST again reveals interesting properties when we consider Figure 10.
Revised: (cid:58) Equivalent figures for Tiny-Imagenet can be seen in Figuremay be improved by considering common improvements to gradient descent methods like momentumor the addition of calibrated noise.

Original: When compared to CIFAR10 and Tiny-Imagenet (in Figures 11 and 5) it becomes apparent that the Approximate approachonly produces consistently larger certifications in MNIST.

Original: Given the increased uncertainty in thederivatives calculated by the Approximate technique, this would suggest that the approximate solvermay be improved by considering common improvements to gradient descent methods like momentumor the addition of calibrated noise.

Original: While MNIST may be the simplest of all the prediction tasks, Figure 8 demonstrates that at lowσ < 0 .
Revised: While MNIST may be the simplest of all the prediction tasks, Figure 8 demonstrates that at lowσ < 0 .

Original: 5 the majority of samples cannot be improved upon by any of the certification enhancementsdeveloped within this paper.
Revised: 5 the majority of samples cannot be improved upon by any of the certification enhancementsdeveloped within this paper.

Original: Given that this does not hold for CIFAR- 10 nor Tiny-Imagenet (in
Revised: Given that this does not hold for CIFAR- 10 nor Tiny-Imagenet (in

Original: Figure 9 and 4 respectively) this would suggest that the potential for Cohen et al.
Revised: Figure 9 and 4 respectively) this would suggest that the potential for Cohen et al.

Original: to be improvedupon in low semantic complexity datasets is smaller.
Revised: to be improvedupon in low semantic complexity datasets is smaller.

Original: That this behaviour is predominantly seen forsmall σ also suggests that our initial step size may be too large in these particular cases.
Revised: That this behaviour is predominantly seen forsmall σ also suggests that our initial step size may be too large in these particular cases.(cid:58)

Revised: A.4 Influence of the starting step size

Revised: The one heretofore un-considered feature is the influence of the initial step-size γ within Algorithm 1.

Revised: As is shown in Figures 12 and 13, while the Full solver only exhibits sensitivity to γ when γ > 0 .

Revised: 1 , theapproximate solvers are far more sensitive, with deleterious performance being observed for γ > 0 .

Original: 3.2 σ 0 .0 .0 .0 .0 .1 .
Revised: 3.2 σ 0 .0 .0 .0 .0 .1 .

Original: P r o p o rt i o n a) Approximate 0.
Revised: P r o p o rt i o n a) Approximate 0.

Original: 3.2 σ b) Full
Revised: 3.2 σ b) Full

Original: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: (cid:58)(cid:58)(cid:58) our (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approaches (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) subsume (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58) our (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approaches (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) subsume (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: Cohen, (cid:58)(cid:58) if (cid:58)(cid:58)(cid:58) no (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) other (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) technique (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58) able (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improve (cid:58)(cid:58)(cid:58)(cid:58) upon (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) base (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification, (cid:58)(cid:58)(cid:58)
Revised: Cohen, (cid:58)(cid:58) if (cid:58)(cid:58)(cid:58) no (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) other (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) technique (cid:58)(cid:58) is (cid:58)(cid:58)(cid:58) able (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) improve (cid:58)(cid:58)(cid:58)(cid:58) upon (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) base (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification, (cid:58)(cid:58)(cid:58)

Original: we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) assign (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) largest (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58)(cid:58) as (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) having (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) calculated (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) assign (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) largest (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58)(cid:58) as (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) having (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) calculated (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Figure]
Revised: [Figure]

Original: et al.
Revised: et al.

Original: (cid:58) .
Revised: (cid:58) .

Original: [Figure]
Revised: [Figure]

Original: [Table]
Revised: [Table]

Original: we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) assign (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) largest (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58)(cid:58) as (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) having (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) calculated (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: we (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) assign (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) largest (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) certification (cid:58)(cid:58)(cid:58) as (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) having (cid:58)(cid:58)(cid:58)(cid:58) been (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) calculated (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: Cohen et al.
Revised: Cohen et al.

Original: (cid:58) .
Revised: (cid:58) .

Original: [Figure]
Revised: [Figure]

Original: achieved (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58) each (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) our (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approaches relative to Cohen et al.
Revised: achieved (cid:58)(cid:58)(cid:58) by (cid:58)(cid:58)(cid:58)(cid:58) each (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58) our (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) approaches relative to Cohen et al.

Original: for MNIST across (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) level (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additive (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) noise σ .
Revised: for MNIST across (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58) level (cid:58)(cid:58) of (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) additive (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) noise σ .

Original: (cid:58)(cid:58)(cid:58)(cid:58)
Revised: (cid:58)(cid:58)(cid:58)(cid:58)

Original: The (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58) was (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) chosen (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58) fair (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: The (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58) was (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) chosen (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide (cid:58)(cid:58) a (cid:58)(cid:58)(cid:58) fair (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: [Table]
Revised: [Table]

Original: [Figure] [Figure]
Revised: [Figure] [Figure]

Original: ce
Revised: ce

Original: [Figure]
Revised: [Figure]

Original: ag e
Revised: ag e

Original: [Figure] [Figure]
Revised: [Figure] [Figure]

Original: [Figure]
Revised: [Figure]

Original: The (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58) was (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) chosen (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58) fair (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) representative (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) comparison (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)
Revised: The (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) median (cid:58)(cid:58)(cid:58) was (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) chosen (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) provide (cid:58) a (cid:58)(cid:58)(cid:58)(cid:58) fair (cid:58)(cid:58)(cid:58) and (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) representative (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) comparison (cid:58)(cid:58) to (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)

Original: Cohen et al.
Revised: Cohen et al.

Original: , (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) filters (cid:58)(cid:58)(cid:58) out (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) outliers (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) percentage
Revised: , (cid:58)(cid:58)(cid:58)(cid:58) that (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) filters (cid:58)(cid:58)(cid:58) out (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) outliers (cid:58)(cid:58) in (cid:58)(cid:58)(cid:58) the (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) percentage

Original: [Table]
Revised: [Table]

Original: improvement (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) when (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) r ≪ 1 .
Revised: improvement (cid:58)(cid:58)(cid:58)(cid:58)(cid:58) when (cid:58)(cid:58)(cid:58)(cid:58)(cid:58)(cid:58) r ≪ 1 .

Original: [Figure]
Revised: [Figure]

Original: A.4 Influence of the starting step size

Original: The one heretofore un-considered feature is the influence of the initial step-size γ within Algorithm 1.

Original: As is shown in Figures 12 and 13, while the Full solver only exhibits sensitivity to γ when γ > 0 .

Original: 1 , theapproximate solvers are far more sensitive, with deleterious performance being observed for γ > 0 .

Original: 01in CIFAR- 10 , and even earlier for Tiny-Imagenet.
Revised: in CIFAR- 10 , and even earlier for Tiny-Imagenet.

Original: This is likely due to the added uncertainty in the
Revised: This is likely due to the added uncertainty in the

Original: Approximate derivatives leading to convergence upon local sub-optima in the more semanticallycomplex datasets.
Revised: Approximate derivatives leading to convergence upon local sub-optima in the more semanticallycomplex datasets.

Original: Based upon these results, the starting step size was uniformly set to 0 .
Revised: Based upon these results, the starting step size was uniformly set to 0 .

Original: 01 for allexperiments.
Revised: 01 for allexperiments.

Original: [Figure]
Revised: [Figure]