Brooks apró termetű, beteges gyerek volt, aki gyakran vált társai gúnyolódásának céltáblájává. Fokozatosan magabiztosságot tudott nyerni abból, hogy számos "Catskill" rendezvényen volt „tummler” (jiddis kifejezés a „ceremóniamester” munkakörre) ami a rámenős komikus szerepével segítette. A gimnázium után belépett a hadsereg speciális képzőprogramjába a "Virginia Military Institute" keretein belül és a második világháborúban mint tizedes szolgált, részt vett az ardenneki offenzívában.