De niño trabajó en los campos de algodón. Asistió a Santa Monica Junior College en California y posteriormente se convirtió en contador y, en un momento, en gerente del Bel Air Hotel. Elam consiguió su primer trabajo en una película al cambiar sus servicios de contabilidad por un papel.