Wildenvey viste poetisk talent allerede i unge år. Han prøvde å ta examen artium ved et privat artiumskurs i Christiania på bare ett år, men ble «stadig avbrutt av episoder som i ettertid ble omskapt til sorgmuntre anekdoter». Før han fikk tatt eksamen reiste han til USA i 1904 med DS Norge og overlevde skipets forlis, noe han senere skrev om. Han var gift med forfatteren Gisken Wildenvey. Han bodde i Stavern fra 1923 frem til sin død, fra 1927 i villaen Hergisheim.