Joseph Nelson Rose wurde auf einer Farm im Union County in Indiana geboren. Sein Vater George W. Rose diente als Soldat im Sezessionskrieg und fiel 1863 bei der Schlacht um Vicksburg. Joseph Nelson wurde von seiner Mutter Rebecca erzogen. Er schloss die High-School in Liberty ab und besuchte von 1880 an das Wabash College in Crawfordsville.