Пассау был основан кельтами, служил укреплением в Римский период. В начале VIII ст. город был резиденцией баварского герцога Теобальда, с 739 года и на протяжении тысячи лет Пассау был столицей одноимённого владетельного епископства в составе Священной Римской империи. По мере роста города, в XII, XIV и XV вв. здесь происходили восстания против власти епископов. В 1552 году между Фердинандом I, представлявшим императора Священной Римской империи Карла V, и протестантскими князьями во главе с курфюрстом Морицем Саксонским был заключён Пассауский договор. На основании этого договора было признано право исповедания лютеранства, объявлена амнистия вождям Шмалькальденского союза. Договор был положен в основу Аугсбургского религиозного мира 1555. В ходе Первой Силезской войны баварцы, овладев крепостью Пассау, вынуждены были сдать её австрийцам, которые занимали её до 1745 года. В 1803 году епископство было секуляризовано и передано Баварии.