Historia pomnika sięga 1923 roku, kiedy to przeprowadzono ekshumację ciała kpt. Józefa Mariańskiego, radomianina poległego w wojnie polsko-bolszewickiej. Wówczas narodziła się idea upamiętnienia żołnierzy Legionów marszałka Piłsudskiego. Pierwotnie planowano zlokalizować pomnik w kwaterze Legionistów cmentarza rzymskokatolickiego, jednak w 1924 roku Rada Miejska podjęła decyzję o zmianie lokalizacji planowanego monumentu. Wybrano miejsce symboliczne – w okresie zaborów radomski Rynek był miejscem straceń bohaterów Powstania styczniowego. Pomnik odsłonięto w obecności Józefa Piłsudskiego 10 sierpnia 1930 roku. Przetrwał do kwietnia 1940 roku, kiedy został zniszczony przez niemieckie władze okupacyjne. W jego miejscu zbudowano basen przeciwpożarowy.