Рылов родился в 1919 году (по другим данным — 1922) в Херсоне в семье Хаима Рылова и Рахили Гольдштейн. Его родители покинули Советский Союз в 1924 году. Сначала они жили в Бессарабии, а в 1928 году прибыли на территорию Подмандатной Палестины. Рылов поселился с родителями в первом израильском мошаве Нахалаль, где уже некоторое время проживала его старшая сестра. Его отец был организатором самообороны и охраны Нахалала и упоминается в книге Меира Шалева «Русский роман». В детстве Рылов общался с Моше Даяном, а также с Ханной Сенеш, которая была его подругой во время учёбы в сельскохозяйственной школе в Нахалале. Во время Большого арабского восстания 1936—1939 годов, как убежденный сионист, он был членом организации «Хагана» и служил в «Специальных ночных отрядах» Орда Чарльза Уингейта.