Сергей Рудольфович Минцлов по отцовской линии был потомком дворянского литовского рода, двое представителей которого пали в Грюнвальдском сражении 1410 года, когда тевтонская армия была разгромлена объединённым польско-литовским войском под командованием короля Владислава Ягайло . Дед писателя Рудольф Иванович Минцлов (1811—1883) преподавал немецкий язык будущему императору Александру III и его братьям, был старшим хранителем иностранного отдела Императорской публичной библиотеки, а его супруга Эрнестина де Галле была поэтессой и переводчицей. Отец Рудольф Рудольфович Минцлов (1845—1904) — юрист, публицист и библиофил, секретарь Юридической комиссии Союза русских писателей; сестра — Анна Рудольфовна Минцлова. В 1892 году женился на Марие Алексеевне Пеньковой, впоследствии видной деятельнице тифлосурдопедагогики и детской писательнице.