Rolshoven was de zoon van een juwelier van oorspronkelijk Duitse herkomst. Hij werd afgewezen door de National Academy of Design en studeerde vervolgens aan de Cooper Arts School te New York. Twee jaar later, in 1878, ging hij naar Duitsland en studeerde daar aan de Kunstacademie van Düsseldorf en vervolgens aan de academie in München, onder Frank Duveneck. Met Duveneck en enkele andere van diens leerlingen, zich de Duveneck-boys noemende, reisde hij voor een jaar naar Venetië. In 1884 vertrok hij vervolgens met een Ventiaanse bruid naar Parijs en studeerde daar aan de Académie Julian, bij Tony Robert-Fleury en William Bouguereau. In 1889 won hij een zilveren medaille tijdens de Wereldtentoonstelling van 1889. In 1893 nam hij deel aan de World's Columbian Exposition te Chicago. Tijdens de Wereldtentoonstelling van 1900 kreeg hij een eervolle vermelding.