早在宋代，龙蟠矶就建有一座小型寺庙，并有“观音阁”题名。元朝至正五年（1345年），监邑铁山在此处用石料堆砌成台，并建成一座寺庙，取名龙蟠矶寺。起初该寺仅供奉东方朔，后来又增设了观音像、老君像等，成为佛道两教建筑。明朝弘治元年（1488年），僧人觉寿募资重修该寺。嘉靖六年（1527年）重修，并加盖了纯阳楼和观澜亭。清朝同治三年（1864年），湖广总督官文捐资重修观音阁。民国时期，一度废毁，后得以重修。中华人民共和国成立后，1958年，观音阁被公布为鄂城县文物保护单位，并于当年被重修。文化大革命期间，观音阁遭到损毁，濒临倒塌。1983年鄂州市再次重修观音阁。1992年12月，观音阁被公布为湖北省文物保护单位。1998年7月，观音阁的老君殿在洪水中被冲塌，此后得以重建。2006年，观音阁被公布为全国重点文物保护单位。2007年，以观音阁为中心的观音阁公园正式建成，并对外开放。