通説では戦国時代末期（安土桃山時代）の1585年6月、それまで現在の境川の場所を流れ、墨俣で長良川と合流していた木曽川は、大洪水を起こして南方へ流路を移動したとされる。豊臣秀吉が尾張・美濃の国境を変更し、従来尾張の葉栗郡・中島郡・海西郡等の一部だった25ヶ村を美濃に編入した（美濃の羽栗郡・中島郡・海西郡、近代に合併して羽島郡・海津郡）のも、この大洪水による流路移動がきっかけだとされている。しかし、1585年の大洪水については、200年以上のちの地誌などに記載があるだけで、同時代の資料がまったく残っていない一方、すでにそれ以前の本能寺の変後（1582年）の段階で、尾張国主織田信雄と美濃国主織田信孝とが、古来の木曽川（境川）上に置かれていた濃尾国境を領地の境とする国切か、それとも「大川」を境に分割する大川切かで対立している。「木曽八流」と呼ばれたように、そもそも木曽川はいくつもの派川に分かれ、西尾張の平野を複雑に離合しながら流れ下っていたが、そのほかいくつかの文献資料からも、室町時代中頃には現在の木曽川の位置にすでに大きな分流（をよひ川＝及川と呼ばれていた）が存在しており、1582年時点では元々の木曽川本流にも規模で勝り、従来の国境よりも領土分割線として相応しいと主張しうるまでなっていたと考えられる。
木曽川は鎌倉時代以降、その豊富な水量と広大な川幅が軍事拠点として利用された。1221年の承久の乱では後鳥羽上皇率いる朝廷軍が鎌倉幕府軍を木曽川で迎撃。下る戦国時代には豊臣秀吉が美濃・墨俣（現・岐阜県大垣市）に一夜城を築き織田信長の美濃攻略を容易にした。信長は木曽川・長良川河口に浮かぶ長島に拠る一向一揆に大いに苦しめられた。関ヶ原の戦いの前哨戦にあたる河田木曽川渡河の戦いでは、岐阜城主であった西軍の織田秀信の激しい抵抗を、池田輝政や山内一豊などが兵士数の差を活かして打ち破った。
正確な創建年代は不明だが、寺伝によれば奈良時代に行基の開創とされている（延慶3年（1310年）『関東下知状』）。本尊である薬師如来像の様式などから、実際の創建は平安時代前期と考えられている。薬師堂は天禄2年（971年）に三枝守国による建立とする伝承がある。天文14年（1545年）の『大善寺諸堂建立炎上記』によれば、在庁官人として甲府盆地東部の東郡地域で勢力を持った古代豪族である三枝氏の氏寺とされる。大善寺東方の甲州市勝沼町柏尾には柏尾山経塚が所在し、平安時代の康和5年（1103年）の年記を有する経筒が出土している。銘文には三枝氏の一族である三枝守定・守継の名が見られる。経筒の銘文によれば、康和2年正月に山城国乙国郡石川村出身の勧進僧・寂円が、山梨郡牧山村の米沢寺において千手観音宝前において発願したという。康和5年3月24日には完成した経典が米沢寺から大善寺にあたる柏尾山寺往生院へ移され、同年4月3日に往生院院主・堯範により開講演説・十種供養の行事が行われると、柏尾山に埋納されたという。なお、経典が書写された「米沢寺」は後の米沢寺雲峰寺の前身寺院と推定されており、山梨市牧丘町杣口に所在する金桜神社奥社遺跡に比定する説がある。寺伝では養老2年（718年）、行基が甲斐国柏尾山の日川渓谷で修行した時に、夢の中に葡萄（甲州ぶどう）を持った薬師如来が現われ、満願を果たし、葡萄を持った薬師如来像を建立したことが当寺の起源であるとされている。甲州葡萄の始まりは行基が法薬として葡萄の栽培法を村人に教えたことであるともいわれている。本尊の薬師如来像の持物は長く失われていたが、元は葡萄を持っていたという伝承があり、現在は左手に一房の葡萄を載せた姿に復元されている。こうした由来と、現在は寺内でワインを醸造して参拝客に振舞っていることから「ぶどう寺」とも呼ばれる（薬師如来像の右手は通常は掌を正面に向ける施無畏印であるが、大善寺の薬師如来像は右手を膝前に垂下している）。鎌倉時代には鎌倉幕府が甲斐・信濃両国において棟別銭を課して、本堂が再建された。戦国時代の天文19年（1550年）には、武田氏家臣で郡内地方領主の小山田信有（出羽守）がニ子を連れて参詣を行っている（『大善寺文書』）。天正10年（1582年）3月、織田・徳川連合軍の武田領侵攻に際して、3月3日に甲斐国主の武田勝頼は本拠である新府城（韮崎市中田町中條）を捨て、小山田信茂を頼って都留郡の岩殿城（大月市賑岡町）に向かう。勝頼はその途中で大善寺に泊まり、戦勝を祈願している。その後、勝頼は小山田領へ入る前に信茂の離反に遭い、日川を遡上。3月11日に山梨郡田野（甲州市大和町）において一族とともに自害した（天目山の戦い）。大善寺にいた理慶尼が、勝頼らの最期を『理慶尼記（武田滅亡記）』に書き残している。『甲斐国志』によれば、理慶尼は武田一族の勝沼信友の娘で雨宮氏に嫁していたが、勝沼氏の処断により離縁されて大善寺で尼になっていた。勝頼を一晩大善寺に泊めると『理慶尼記』を記し、高野山引導院に奉納したという。一方で勝沼氏は武田一族の今井氏により継承され、理慶尼は今井信甫正室の母とする説がある。この説に立つと武田氏滅亡の際には高齢であると推定されるため、『理慶尼記』は執筆者が理慶尼に仮託して記した史料とする説もある。幕末の戊辰戦争では、慶応4年（1868年）に近藤勇の率いる甲陽鎮撫隊の兵が甲州街道を甲府城へ向けて進軍。同年3月6日に大善寺の付近で新政府軍と戦ったものの、敗退している（甲州勝沼の戦い）。