Нарадзіўся ў 19 жніўня 1925 годзе ў в. Залессе Вілейскага павета (Віленскае ваяводства, Польская Рэспубліка, цяпер Вілейскі раён Мінскай вобласці). Бацька, Пётр Яноўскі, настаўнічаў, меў вялікую гаспадарку. Прадзед, Тамаш Яноўскі, удзельнічаў у вызвольным паўстанні Каліноўскага, загінуў у баі атрада Вінцэнта Козела-Паклеўскага з расейскімі войскамі каля Уладыкаў 17 мая 1863 г. У 1930-я гады ў тым месцы быў насыпаны курган, на мемарыяльнай пліце выбілі прозвішчы загінулых паўстанцаў, на галоўнай плошчы Ільі паставілі помнік з польскім надпісам «Сzesc poleglym za wolnosc». Дзед Фёдар Шэрамет быў таксама настаўнікам, да яго прыязджалі вядомыя людзі: Браніслаў Тарашкевіч, Сымон Рак-Міхайлоўскі, Пятро Мятла, якія былі пасламі ў польскім сейме. Сяргей Яноўскі пазней успамінаў, што яны спрачаліся, бо дзед крытычна ставіўся да савецкай улады, і мажліва гэтыя гутаркі паўплывалі на беларускую свядомасць Сяргея. Маці была адоранай, рана навучыла Сяргея пісаць і чытаць, але ён быў найстарэйшым з чатырох братоў, таму яму прыходзілася дапамагаць з гаспадаркай. Бацька адчыніў беларускую прыватную школу ў іх доме, таму ў адной палове жыла сям'я, у другой была школа. Часам бацька Сяргея прыцягваў братоў да самадзейнасці, ставіў сцэнкі, спектаклі на беларускай мове. У 1929 г. польскія ўлады прапанавалі бацьку Сяргея прайсці перакваліфікацыю на польскага настаўніка, але той адмовіўся, пасля чаго беларускую школу зачынілі і адчынілі польскую ў Залессі, у якой Сяргей Яноўскі навучаўся з шасці гадоў.