Gilbert nació en Zanesville, Ohio, siendo el mediano de tres hermanos, y fue llamado Cass en honor al hombre de estado Lewis Cass, a quien apenas conoció.