Уолтер Мэнни происходил из геннегауского рыцарского рода де Мони. Он был четвёртым из пяти сыновей Жана де Мони по прозвищу "Одноглазый" и его супруги Жанны де Жанлен. Рождение Уолтера (это английский вариант имени "Готье") датируют примерно 1310 годом. С ранних лет братья Мони находились в свите Жана де Бомона, брата графа Геннегау Вильгельма I. Их отец погиб в 1324 году в Аквитании, во время войны Сен-Сардо, которую вели между собой Англия и Франция; позже, в 1346 году Уолтер нашёл тело отца и перевёз его в Валансьенн для погребения.