Полк составился в 1863 году из 4-го кадрового и резервных 5-го и 6-го батальонов Белостокского пехотного полка как Белостокский резервный полк, каждый из этих батальонов до 1884 года имел собственную историю, но общее старшинство и знаки отличия. Примечательно, что 5, 6, 7-й и 8-й батальоны полка (в 1863 составившие 126-й Рыльский полк) в продолжение Крымской кампании действовали в Северном Причерноморье, отдельно от первых четырёх батальонов полка, действовавших на Кавказе, поэтому и дарованные знаки отличия за Крымскую кампанию у батальонов 126-го и 50-го полков были совершенно различны, хотя им в 1884 году и присвоена общая история до 1863 года.