Los terrenos alrededor de la Casa del Anciano fueron retenidos por la tribu de los Suquamish después del Tratado de Point Elliott que fue firmado en 1855, convirtiéndose en la Reserva India de Port Madison.