Известно, что Ноллес родился в графстве Чешир. Первые упоминания о Роберте Ноллесе относятся к середине XIV века: на тот момент он был капитаном над несколькими замками Бретани, в том числе Фугерэ, Гравэлль и Шато-Бланк. Также он был одним из англичан-героев Боя Тридцати в войне за бретонское наследство (1351 год), где и был захвачен в плен.