Edward J. Kelly var det tredje av fem barn til James Leo og Henrietta ( Wakefield) Kelly. Han fikk sin tidlige utdannelse ved i The Dalles, og klassiske studier ved i Portland.