О происхождении Русселя де Байоля известно мало, возможно он был франком; достоверно известно, что он попал в Италию вместе с апулийскими нормандцами и поселился в области