新石器時代の遺跡はフェリザイから2kmのVarosh村で発掘された。Starčev文化とヴィンチャ文化が中心で、陶器の欠片も有った。ローマ時代に集落が有ったと信じられている。 2008年、新石器時代の遺跡がZllatar 村で発掘された。中石器時代に使われた証拠も見つかった。火打石や石器、陶器も見つかった。 ローマ時代の遺跡はKomogllavaで発掘された。紀元前1世紀に建てられ、東ローマ帝国時代に再建された。古代の通りや排水溝等のインフラが発掘された。花瓶や陶器、硬貨、宝石、鉄製品、炭も出土し、特に沿岸部からサルコファガス(石棺)を造る為に運ばれた石が特徴的である。 5世紀～6世紀にNikadin村に教会が建てられた。ローマ時代の煉瓦とタイルで造られており、床下にサルコファガスが置かれている。
Mulla Veseliの大モスクと中心部の聖ウロス大聖堂は1891年に建てられた。 これらはイスラム教のアルバニア人とキリスト教のセルビア人の宗教的寛容性を象徴している。モスクと教会が並んでいるので写真を撮る人が多い。モスクは第二次世界大戦で破壊されたが、再建された。1999年のコソボ戦争ではどちらも破壊された。2004年のコソボ暴動で教会は攻撃された。コソボの芸術と文化の発展は文化芸術学会(CAS)の影響が大きい。作曲家のLorenc Antoniは40代前半をフェリザイで過ごした。フェリザイ出身の編曲家のVenqenc Gjiniも大きな功績を残した。
フェリザイには38の小学校が有り、2万492人が学んでいる。 専門学校を含む8の中学校が有り、6127人が学んでいる。 アッシュカリー人、ロマ、ゴーラ人の就学率はコソボ・アルバニア人に比べて低い。幼稚園は1つ有り、270人が通っている。フェリザイ教育科学局は10人の少数民族を含む1680人の職員が働いている。 2つの公立図書館が有り、学生はインターネットも使える。会員権は有料である。
キャンプ・Bondsteel維持の為にアメリカのBrown & Rootが地域で1500人を雇っている。22の公営企業の殆どが民営化された。貿易産業省の統計によると、フェリザイには1万500以上の中小企業が存在する。正確な情報が無い為、何人が民間企業に雇われているかは分からない。
1999年、コソボ戦争が起き、アルバニア人住民はユーゴスラビア軍に攻撃された。戦後アルバニア人以外は追放された。アメリカ軍のコソボ治安維持部隊の基地であるキャンプ・Bondsteelはこの周辺に位置する。
1912年、第一次バルカン戦争が起きた。コソボのアルバニア人はセルビアの侵攻に抵抗した。 セルビア人司令官は住民に帰宅と降伏を命じた。この時300～400人の男が処刑された。 スコピエ大司教のLazër Mjedaによると、15歳以上で生き残ったムスリム・アルバニア人は3人だったと言う。 フェリザイ周辺のアルバニア人の村も破壊された。 ロンドン条約 (1913年)締結以前から、フェリザイはセルビア王国に併合された。セルビアのステファン・ウロシュ5世に因んでウロシェヴァツと改名された。
1873年以前、オスマン帝国がこの地を統治しており、ここにはフェリゾヴィクという小さな村が有るだけだった。同年ベオグラード⇔テッサロニキに鉄道が開通し、フェリゾヴィクを通るようになった。当時のホテル経営者のFeriz Shashivariに因んでフェリザイと改名した。
3軸はそれぞれが車体に装架された2台の高速回転する交流電動機によって駆動された。動力伝達方式はクイル式が採用された。最高速度は90km/hだった。片側はボギー台車が使用された。最初は茶色で後にスイス国鉄標準の緑色になった。
1920年代初頭、スイス国鉄は平坦線区の急行列車に3動軸で2000hpで最大時速90kmという要求に沿った機関車の提案をスイス内3社に出させた。ブラウン・ボベリはAe 3/6ᴵ、エリコンはAe 3/6ᴵᴵ形、セシュロンはAe 3/5形を提案した。Ae 3/5形が1922年から1925年にかけて生産された。
2010年6月に借地契約の期限が終了となるため、パレットタウン全体の撤去に伴ってヴィーナスフォートも営業を終了し撤去される予定であった。また、パレットタウンのある土地では商業施設や新型観覧車などの建設計画が決定、森ビルとトヨタ自動車が再整備を行い当初の計画では2013年の開業を予定していた。しかし、経済状況の変化や社会情勢の悪化などを理由に両施設の解体は延期され、営業も当面の間継続されている。
パームベイは北緯27度59分52.52秒西経80度40分12.03秒に位置する。アメリカ合衆国国勢調査局による報告では、市域全面積は66.75平方マイル (172.9 km²) で、このうち陸地が63.35平方マイル (164.8 km²) であり、水域は3.1平方マイル (8.0 km²)、水域率は4.64%である。パームベイ市は北西部、北東部、南西部および南東部の4区画に分けられることが多く、そのそれぞれに複数の郵便番号が当てられている。最も都会化されているのは北東部である。最も田園部が残るのは南西部であり、「ザ・コンパウンド」と呼ばれる地域が入っている。この地域にはボンバルディア・レクリエーショナルプロダクツ社がある。ベイサイド湖の一部がこの地域に掛かっている。市の一部では排水が問題点であり続けており、これはジェネラル・デベロプメント・コーポレーションから市に突然移管したときに、将来の成長や適切な排水のための計画責任が渡されたためだった。この問題は2000年以降の市の職員によって設計と建設を続けた結果で緩和されてきた。1990年代初期、市の西部にあるサッカー場や運動施設のあるパームベイ地域公園が建設された。これは市全体にわたる公園とレクリエーション地域の中では最大のものである。ターキー・クリーク・サンクチュアリは市北部にある小さな自然保護区である。