ギターの津野米咲が全曲の作詞・作曲・プロデュースを手掛けている。ギタリストでありながらギターで曲を考えるのがとても苦手だそうで、ピアノで全部のパートを作ってからそれを無理やりギターで演奏している。楽曲制作では、まず津野が歌・ベース・ドラム・シンセサイザーを入れたデモ音源を作ってくる。ほとんど打ち込みで作られたバンド・サウンドとはかけ離れた形で上がってくるので、それをバンド全員でアレンジするという方法を取っている。デモの段階ではアレンジはあまり固めないという。作曲では、吹奏楽もやっていた津野が、クラシックや現代音楽のスコアを参考にしたりしながら、ポップスやロックのセオリーでは不協和音になる音をあえて使ったり、カウンター・メロディーを入れたりと、さまざまな試みをしている。そして音楽オタクの津野が作ったその曲を、好きな音楽がはっきりしていて専門外のことはよく知らない他の3人と一緒に仕上げることによって、アンバランスでありながら普通の人も聴けるポップスになる。そしてその歪さが耳に引っかかるフックとなり、赤い公園の音楽を特徴付けている。レコーディングでは極力オートチューンを使わないようにしているので、歌の音程が多少ずれても補正せずにいる。津野自身は「ジャンルがかちっと決まっているバンドが多いシーンの中で、限りなく、とてつもなく自由でいたいんです。だから、方向性を決めないというのが方向性ですね」「今まで色んな音楽を聴いてきた中で、やりたい音楽がごちゃ混ぜになっているんですよね。一番好きなアーティストを訊かれたりすると困るし、"こういうバンドが好きなのかな？"と想像してくれるとうれしい」と述べている。
2010年1月4日、高校の軽音楽部に所属していた4人により結成。地元東京都立川市のライブハウス「立川BABEL」を拠点に活動を開始し、その年の12月には、神聖かまってちゃんが主催するライブイベントにも出演した。2011年1月、自主制作のデモ音源「はじめまして」を発売。同年3月、自主制作によるミニ・アルバム「ブレーメンとあるく」を発表。同年10月、NATSUMENやチーナなど、日本人アーティストとともにカナダで開催された『Next Music from TOKYO vol 3』に参加、注目を集める（この後 NATSUMEN のメンバーは、赤い公園をプロデュースしている。インタビュー「爆発した才能」）。複数のレコード会社による争奪戦の末にEMIミュージック・ジャパンと契約。2012年2月15日、EMIミュージック・ジャパンよりミニアルバム「透明なのか黒なのか」をリリース、メジャーデビューを果たした。同年10月9日、バンドのオフィシャルサイトにて、ギターの津野米咲の体調不良により当面の活動を休止することを発表。2013年3月1日午前零時、Ustreamに出演して活動を再開することを発表。同年6月5日リリースのSMAPのシングル「Joy!!」で、津野米咲が作詞と作曲を担当する（アレンジは菅野よう子）。2017年7月3日、佐藤千明(Vo)が8月31日をもって脱退を表明。佐藤は「7年の活動の中で自分の手に負えない程のズレが生じていることに気付いた。そのズレが迷いとして音楽にまで介入してきたとき、赤い公園のボーカルという使命に、限界を感じた」ことを脱退の理由としている。2017年8月27日、Zepp DiverCity TOKYOで行われた「熱唱祭り」が4人体制での最後のライブとなった。2018年5月4日、『VIVA LA ROCK 2018』に出演し、新ボーカルを元・アイドルネッサンスの石野理子が務めることを発表した。石野の加入に伴い、同年より津野、藤本、歌川の3人は石野の所属事務所であるソニー・ミュージックアーティスツに移籍した。
13世紀初頭、アルジェリア東部のビスクラ地方で遊牧民族が建国したマリーン朝が台頭し、1248年にフェズはマリーン朝の支配下に入る。マリーン朝はこれまでモロッコを支配していたムワッヒド朝との関係を絶つため、ムワッヒド朝時代の都マラケシュに代えて、フェズを首都に制定した。1276年にマリーン朝の君主アブー・ユースフ・ヤアクーブはフェズの新市街（フェズ・エル・ジェディド）の建設を命じた。1395年には新市街に大モスクが建立され、新たな宮殿も建設される。マリーン朝時代のフェズは旧市街が経済の中心地、フェズ・エル・ジェディドが行政の中心地となり、あたかも双子都市のように機能していた。旧市街には家屋が密集し、14世紀の最盛期にはおよそ100,000人の市民が旧市街に居住していた。武器博物館の裏には、マリーン朝王族の墓地が広がっている。フェズはイスラム教徒だけでなくユダヤ教徒にとっても重要な町であり、11世紀の地理学者バクリーはフェズには他のマグリブのどの都市よりもユダヤ教徒が多く住んでいたと記している。イスラム教徒の住民とユダヤ教徒の住民の関係は不安定であり、時にはイスラム教徒によるユダヤ教徒の殺害・略奪が起きた。1276年に起きたポグロム（ユダヤ教徒の大量虐殺）の後からマリーン朝はユダヤ教徒の居住区の必要性を痛感し、1438年ごろにフェズ・エル・ジェディドにメッラーフ（mellah, ヘブライ語: מלאח‎‎, アラビア語: ملاح, الملاح‎‎, ユダヤ教徒の強制隔離地区）が設置された。また、マリーン朝時代のフェズにはユダヤ人居住区以外にイベリア半島出身のキリスト教徒傭兵の居住区、シリア出身の弓兵の居住区も設けられていた。マリーン朝の滅亡後に成立したワッタース朝はフェズを首都とし、1549年にフェズはマラケシュを本拠とするサアド朝の支配下に入る。フェズは外来者の受け皿となり、グラナダのナスル朝の滅亡によって現れた難民を受け入れ、アルジェリアやサハラ砂漠からの移民のための居住区が建設される。16世紀以降、断続的に起きる反乱によってフェズの町は衰退していく。17世紀に成立したアラウィー朝はフェズを首都に定め、宗教・学問・商業の中心地として繁栄する。1911年にフェズはフランスによって占領され、翌1912年に締結されたフェズ条約によってモロッコはフランスの保護下に置かれる。フランス統治下のフェズは軍用地域と市民用地域に分けられ、移動は制限されていた。1916年にフランス人居住区として第三の市街地（ヴィル・ヌヴェル）が建設され、フェズに3つ目の市街が形成される。新市街は幅の広い道路が直角に交差する「近代的」な構造で、さながら迷路のような旧市街と対照的な町並みとなっている。また、フランスによって公布された旧市街に新たな建築物を建てることを禁じる法令は、旧市街の景観の維持に一役買った。このような状況下で、フェズのイスラーム法学者はラバトの知識人と共にモロッコの民族独立運動の担い手として、フランスへの抗議活動に参加した。第二次世界大戦期のアフリカでの植民地戦争において、フェズはレジスタンスの拠点となった。