900年から1200年ごろにはインディアンが定住し、文化を築いていたことが1930年代に東部で見つかった遺跡により判っている。1907年に州になる前に、オクラホマは合衆国政府にインディアン準州と指定された。これは、合衆国が19世紀にミシシッピ川を越えて西方へ拡大したため、インディアンが移住する場所を提供するために行われた。1830年のインディアン移住法は就任して1年もたっていないアンドリュー・ジャクソン大統領によって調印された。この法は、ミシシッピ川の東に住んでいるインディアン部族に移住条約を交渉するための権力を大統領に与えた。条約は、川の東側に住むインディアンに土地を諦めさせて西へと向かわせるよう求めた。残留を望んだ人々は留まることを許可され、彼らの州で市民になった。ジャクソンの諸条件に同意した部族にとって、移住は平和的であったが、結局抵抗した者は強制的に移住させられた。北部のインディアン部族にはショーニー、オタワ（w:Ottawa (tribe)）、ポタワトミ（w:Potawatomi）、ソウク（w:Sac (tribe)）、フォックス（w:Fox (tribe)）がいた。彼らの小規模さとまとまりのなさのために、移住ははるかに大きくて組織化された南部の部族のそれよりも容易に行われた。アメリカ合衆国南部に住んでいたチョクトー、クリーク、チカソー、セミノール、チェロキー（文明化五部族）は、西洋の習慣を採用したために、チェロキーの場合は、近隣とのよい関係を保ちながら文字を発達させたために、文明的であると考えられていた。チョクトーは1830年9月に、ダンシング・ラビット・クリーク条約（w:Treaty of Dancing Rabbit Creek）として知られる移住条約に調印した。ミシシッピに留まることを決定したチョクトーたちはすぐに彼らの先祖伝来の土地を強制的に追い出され西へ向かわされた 。クリークもまた移住を拒否し、彼らの残された土地の所有権の保護と引き換えに、彼らの土地の大部分を明け渡す1832年3月の条約に調印した。合衆国はクリークたちを保護せず、1837年、彼らは条約に調印することなく軍事的に強制移住された 。チカソーは移住を必然的であると見なし、1832年に彼らの移動の保護を含んでいた条約に調印した。チカソーたちは、白人入植者とインディアンの土地の保護を戦争局が拒否した結果、やむをえず早くに動いた 。1833年、セミノールの小集団が移住条約に調印した。しかしながら、部族の大部分によってこの条約は無効であると宣言された。結果として第二次、第三次セミノール戦争が起こった。最終的に戦争を生き残った者は西へと移住することになった 。チェロキーは、違法な条約、1833年のニューエコタ条約（w:Treaty of New Echota）にだまされた。チェロキーは西に強制的に移住させられるまでに2年間の猶予を得た。2年の後、たったの2,000名のチェロキーが西へと移住し、16,000名は彼らの土地に居残った。合衆国はチェロキーを、彼らの所有物を集める時間なしで西に動かすため、7,000人の兵士を派遣した。この西方への行進は4,000名のチェロキーが死亡した涙の道として知られている 。
常徳院の参道入り口には、「十一面観世音像」と刻まれた石碑が建てられている。山門を入ると、右側に鐘楼、南向きに本堂があり、本堂の北東側には庫裏を配する。本堂の屋根は入母屋造で鉄板瓦棒葺、間取りは方丈系の八間取である。建立の年代は、棟札や墨書などの裏付けがないため不詳とされる。1958年（昭和33年）に改修を行ったときは柱を削ってやや細くしたのみで、間取り等は以前の状態を保っている。化政文化期（1804年から1829年）に編纂された『新編武蔵風土記稿』の巻之四十八 荏原郡之十に、「十間ニ七間南向」という記述があって、現在の本堂とほぼ同じ規模であるため、少なくとも『新編武蔵風土記稿』が編纂された化政文化期以前に建立されたことが推定されている。なお、本堂の内陣上にある木鼻などが世田谷区喜多見5丁目にある宝寿院（江戸時代中期に建立）のものと類似していることから、同時期の建立とも考えられている。本堂の天井部分には、花鳥を描いた極彩色の板絵が施されていて、その数は143面に上る。内訳は本堂内陣に44面、外陣に99面である。内陣の板絵はほとんど獣類を画題としているが、全般に画調は洗練を欠いている上に雨漏りの影響で剥落が多い。外陣の板絵は花鳥のみを題材に取り上げていて、内陣の板絵と比較して彩色などに端正さが見られる。『世田谷区社寺史料 第三集 絵画・彫刻II・目録編』では、すべての板絵の作者を同一と推定している。内陣の板絵のうち一面に、「緑峰」という款印があるが、この人物については未詳である。板絵の制作年代については、画風などから見て江戸時代末期から明治時代にかけてとされている。鐘楼の屋根は入母屋造で鉄板瓦棒葺であり、建立年代は『新編武蔵風土記稿』などによって化政文化期以前と推定されている。鐘楼は1958年（昭和33年）に改修した際も、基壇の高さを上げて彩色を補ったのみであった。鐘楼に使われる木鼻の渦紋や柱の風化状況などからも、本堂とほぼ同時期の建立とみられている。本尊の十一面観音像は、『曹洞宗明細簿』によると木製の坐像で丈は1尺8寸（約54.5センチメートル）という。この十一面観音像について、『新編武蔵風土記稿』の巻之四十八 荏原郡之十では、「相伝フ此本尊ハ吉良氏朝ノ信仏ニシテ当寺ニ寄附スト」との記述がある。ただし、『新編武蔵風土記稿』は続けて「按ニ下ニノスル古文書ノ趣ニヨルニ氏朝ノ寄附セシト云ハ疑フベシ」としている。さらに「此観音ハモトヨリココニタテタルヲ、元亀四年氏朝ノ田地ヲ寄附セシ状アルニヨリ、カク言伝フルナルベシ」として、中地山城守の署名が入った吉良氏印判状の存在に言及している。本尊の他にも、十王像・達磨像・韋駄天尊像（いずれも木像）、釈迦誕生仏（銅像）、釈迦涅槃像（画像）などを所有している。その他に寄付による仏像や、廃寺となった善徳院旧所蔵の仏像等も常徳院が所蔵する。善徳院旧所蔵の仏像等は、1876年（明治9年）3月5日に常徳院の所蔵となった。常徳院が所蔵する仏像のうち、閻魔王坐像、十王像、釈迦三尊像は1978年（昭和53年）4月1日から1681年（昭和56年）3月31日までの世田谷区社寺調査及びその後3か年にわたって実施された追加調査の対象となった。常徳院には、古い地蔵菩薩像がいくつか残されている。1735年（享保20年）10月造立の高さ150センチメートル余の地蔵立像は女中念仏講中26名の寄進によるものであり、1865年（慶応元年）の地蔵立像は村中の寄進である。1777年（安永6年）に造立された六地蔵の台座には、多くの銘が刻み込まれている。