1776年10月30日、バージニア州プリンス・エドワード郡において、リチャード・ビブとルーシー・ブッカーの息子として誕生した。ビブは1792年にハンプデン・シドニー大学とウィリアム・アンド・メアリー大学を卒業した後、リチャード・ヴェネイブルの事務所で法律を学び、バージニア州から弁護士の認可を受けた。ビブはバージニア州において弁護士業を開業したが、1798年にケンタッキー州レキシントンへと移住すると政治学を専門に扱うようになり、間もなく政治問題を専門に扱える人物として高い評価を受けるようになった。ビブは1806年にケンタッキー州下院議員に初当選を果たし、1810年、1817年の選挙でも勝利を収めた。またビブは1808年にケンタッキー州控訴裁判所判事に指名され、1810年には同裁判所の長官に指名された。1811年、ビブはケンタッキー州からアメリカ合衆国上院議員に選出され、1814年までその職を務めた。そしてその後リビングストンに戻ると、法律家としての活動を再開した。ビブは1816年にフランクフォートへ移ると、州政にも関与するようになった。そして約10年間を州の一政治家として過ごし、1827年に再びケンタッキー州控訴裁判所の長官に就任した。1828年、ビブはアンドリュー・ジャクソンの強い支持を受けて再びアメリカ合衆国上院議員に立候補し、再選出された。ビブは1834年まで3期続けて連邦政府の上院議員を務め、第21回アメリカ合衆国議会では上院の郵政委員会で議長を務めた。だがジャクソンの激しい頑固さに辟易したビブは4選目には立候補せず、3期目の任期満了とともにケンタッキー州に戻った。そしてその後、1835年から1844年までルイビル衡平法裁判所の長官を務めた。1844年、ビブはジョン・タイラー大統領からアメリカ合衆国財務長官に指名され、タイラー大統領の任期満了となる1845年までその任を務めた。ビブは1844年の年次報告において、合衆国の財政の歴史を詳細に取りまとめ、1789年の合衆国建国から半世紀以上にわたる統計情報を発表した。加えてビブは、国債の元金と利子を計画的に償還できるようにするため、定期的に積み立てを行う減債基金の設立に関する議論を提起した。ビブは減債基金の設立によって、関税や内国税による歳入を余剰収入として扱うことができると主張した。財務長官退任後、ビブはワシントンD.C.で弁護士として活動し、司法長官補佐を務めた。ビブは1859年4月14日にジョージタウンで死去し、議会墓地に埋葬された。だが同年の6月18日にビブの遺体は別の場所に埋め直された。最終埋葬地は不明である。
東京下谷生まれ。父は農商務省の官吏。父の転任で1891年（明治24年）から福岡で暮らし、1900年（明治33年）に東京に戻る。福岡県立豊津中学校（現・福岡県立育徳館中学校・高等学校）卒業。中学時代から詩作を行っていたが、上京して与謝野鉄幹に師事し、水野蝶郎名義で新進詩人として知られる。この頃、高村光太郎、窪田空穂とも知り合い、特に高村とは終生の友となった。1901年（明治34年）には早稲田大学高等予科に進学。しかし、鳳晶子との仲を疑われ、鉄幹から破門される。やはり新詩社をはなれた窪田が発行した雑誌『山比古』に参加。1902年（明治36年）には早稲田大学経済科に進学。在学中に植村正久から洗礼を受けキリスト教徒となり、1904年（明治38年）に大学卒業。卒業後しばらくは詩作を続けるが、やがて「水野葉舟」名で「小品文」とよばれる小説作品を発表。自然主義文学の若手作家として名声を高めた。しかしやがて、怪談・怪異譚の収集、心霊研究に熱中しはじめ、心霊文献の翻訳や、収集した怪異譚を多数発表。1905年には早稲田大学在学中の佐々木喜善（当時は、「佐々木鏡石」名での若手作家であった）と知り合い、彼が語る遠野地方の物語を、「怪異譚」としてとらえて熱中する。1907年（明治41年）には文学者のサロン「龍土会」で柳田國男とも出会い、怪談への嗜好にはさらに拍車がかかっていく。当時は欧米のスピリチュアリズムの影響を受けた、文壇あげての「怪談ブーム」でもあり、同1907年11月には佐々木を柳田宅に連れてゆき引き合わせ、3人は怪談話で盛り上がった。1908年（明治42年）3月には柳田の訪問に5ヶ月先立って、遠野の佐々木宅を訪問し、現地での体験・見聞を小説化している。さらに、1922年（大正11年）には、野尻抱影とともに「日本心霊現象研究会」を創設。また、野尻とともに、新光社から「心霊問題叢書」と銘打って、海外の心霊研究資料を翻訳刊行した。その一方でローマ字普及運動にもかかわり、1919年（大正9年）にはローマ字詩集『SUNA』を刊行。また、「ローマ字ひろめ会」の理事、評議員などを歴任した。また、トルストイの思想に共鳴して、1924年（大正13年）千葉県印旛郡駒井野（現在は成田市）に三千坪の畑地を購入し、妻子とともに半農生活を送る。また、同地方の自然、民俗、方言などの研究も行った。和歌の弟子としては、黒田忠次郎などがいる。1947年（昭和22年）に、63歳で死去。