入读宫崎县立延冈中学校，开始创作短歌和俳句。18岁的时候取号「牧水」，原因是「用他当时最爱的两种事物合而为一。『牧』是妈妈的名字。『水』是因为家的附近积聚溪雨汇集成水而来」。1904年（明治37年）入读早稻田大学文学系，与当时的同级生北原射水（后来的白秋）、中林苏水是好朋友，被合称为「早稻田之三水」。1908年（明治41年）于早稻田大学英文系毕业。同年7月出版处女歌集《海之声》，翌年1909年（明治42年）便加入了中央新闻社。经历五个月后，牧水退社，拜当时的着名诗人、学者尾上柴舟为师。1911年（明