1952年4月15日愛知県生まれ、慶応義塾大学中退。1976年よりコントラバスおよびエレクトリックベース奏者として土岐英史、鈴木勲、清水靖晃らのジャズ・グループで活動し、多数のセッション作品を残す。フレットレスベースのソロ演奏で高い評価を得、来日したジャコ・パストリアスより「会いたい」と指名されるほどであったといわれている。1982年に実験音楽ユニット「ラーゲル」を結成し1985年まで活動する一方で、1980年代の半ばには演奏活動やセッションワークなどの表舞台からは遠ざかり、その後「消えたベーシスト」「空白のベーシスト」と呼ばれた。本人はその理由を「自分の音楽が当時の業界と折り合いが良くなかった」「自分の演奏を理解できるプレイヤーがおらず、孤立した」としている。1980年代後半から90年代前半に掛けてソロ・アルバムを5枚発表。この時期には打ち込みとベースのみというスタイルでハウスミュージックやアンビエント・ミュージックに接近していく。その一方で「株式会社ラング(Lung)」を設立、私塾形式でのプロ演奏家の指導・育成に当っていく。また、独自の音楽理論の研究に取り組み、『ベースライン・ブック』や『ブルー・ノートと調性』を上梓した。2008年より「濱瀬元彦　E.L.F Ensemble」として演奏活動を再開。このユニットの音楽性は「人力テクノ・ジャズ」と形容される。これは濱瀬の音楽理論について著書・講演で触れた菊地成孔(後述)との交流から、菊池がゲストおよびプロデューサーとして関わることで実現したものである。
1932年（昭和7年）、東京の富裕な産婦人科開業医の末娘として生まれたが、病弱に育ち、5歳の時に千葉へ移る。1945年（昭和20年）に1年遅れで千葉市立千葉高等女学校（千葉県立千葉東高等学校の前身）、次いで1948年（昭和23年）に日本女子大学附属高等学校へ進むが、病のために旧制・千葉淑徳高等女学校（千葉明徳中学校・高等学校の前身）に転じ、そこも結局は退学して、通信制高校で高卒資格をとった。桜蔭高等学校を卒業した、ともされることもある。10代後半の飯島は、日本共産党に共鳴して1949年（昭和24年）には入党しており、活動を通じて知り合った男性との間で妊娠・中絶を経験した後、成人した1952年（昭和27年）にその男性と結婚した。人間の解放をめざす戦闘的な共産主義者として鍛えられた彼女であったが、そのなかでも強い性差別を経験している。20代前半は工場労働に従事して職業革命家であった夫との生活を支えるが、1957年（昭和32年）、夫とともに日本トロッキスト聯盟の結成に参加、さらに入党戦術により日本社会党に入党するものの、聯盟の分裂後は夫とともに第四インター (ICP)に移る。1960年（昭和35年）の安保闘争の際には社会党の女性活動家として活発に活動し、1963年（昭和38年）には社会党所属の区議（のち都議）の秘書となるが、1964年（昭和39年）に夫と離婚するまで、社会党とICPの二重党籍状態が続いた。1967年（昭和42年）に日本社会党系の日本婦人会議の中央常任委員となり、1969年（昭和44年）3月には東京での救援連絡センターの結成に参加、これらの組織を軸に様々な大衆運動に関わった。以降、飯島は、田中美津とともに日本における第二派フェミニズムの中心人物とみなされ、1970年代のウーマンリブ運動をきりひらいたフェミニストと評されるようになる。飯島は、松岡洋子とともに1970年（昭和45年）に設立された「侵略=差別とたたかうアジア婦人会議」の発起人となり、同事務局の理論的支柱でありつづけた。1970年2月25日に出された「侵略=差別とたたかうアジア婦人会議に参加しよう」のアピールは169人の呼び掛けで出されたが、飯島はその中心人物となった。飯島はアピールに先立つ1968年（昭和43年）には本土復帰前の沖縄を訪問しているが、アピールには、戦後日本が平和と民主主義を謳歌している反面、沖縄に軍事基地を押し付け、ヴェトナム戦争の恩恵で経済的に潤っている事実をふまえ、従来の被害者性のみに立った婦人解放運動ではなく、加害者性をも含んだ運動への志向性がみてとれる。また、飯島が訴えたのは、戦後民主主義の一大特徴であり一典型であった「婦人解放」を、社会体制の変革の後に続くものではなく、自己変革としてとらえることであった。イデオロギーのうえでは上述のとおりマルクス主義の影響を受け、女性差別を生みだす日本の社会構造を告発しつづけた。運動では、優生保護法改定反対や勤労婦人福祉法制定、男性の大韓民国への買春観光（「キーセン観光」）への反対運動を主導した。天皇制反対や女性の戦争責任追及にも取り組んでいる。1981年（昭和56年）、家族計画国際協力財団に入り、人材養成事業部長や国際家族計画連盟中央理事会理事などを歴任した。この間、1978年（昭和53年）に三里塚闘争を通して知り合った年下の男性と1980年（昭和55年）から共同生活に入り、三里塚（千葉県成田市）や南西諸島各地などでの営農に取り組むが、1986年（昭和61年）にパートナーの男性が死去。1987年（昭和62年）から1989年（平成元年）にかけては、年上の男性と千葉県で共同生活を送り、農業にたずさわる。また、1990年（平成2年）から1992年にかけては、沖縄県石垣島で別の年上の男性（石垣島の住民）と共同生活を送り、共同生活解消後も石垣島に定住するようになった。晩年は、1996年（平成8年）に超越瞑想（TM瞑想）の集会で知り合った20代の男性と行動をともにすることが多くなったが、2000年（平成12年）に癌が発見され、以降は数度の手術を受け闘病を続けながら、ブータンや国内各地への旅を最晩年まで続けた。2005年（平成17年）に73歳で死去した。