Roye blei født inn i en rik afrikansk-amerikansk familie i Newark, Ohio. Familien hans var av igboavstamning. Hans far, John Roye, var ferjebestyrer på ei ferje som gikk over elva Wabash ved Terre Haute i Indiana, og skaffa seg store landområder i Terre Haute samt Vandalia i Illinois. Som et resultat av familiens rikdom kunne unge Roye gå på Ohio University i nabobyen Athens i Ohio. Da faren hans døde i 1836 flytta Roye til Terre Haute, hvor han starta en barbersalong.