Юрий Завадский родился в Москве в дворянской семье чиновника Александра Францевича и несостоявшейся актрисы Евгении Иосифовны (в девичестве Михайловой). Многие члены семьи были связаны с искусством. Деда по отцовской линии — художника-живописца, наполовину поляка — сослали в Сибирь за участие в польском восстании 1863 года; дядя был пианистом и композитором, а самого отца благодаря выдающемуся голосу звали в солисты Большого театра, но он отказался. Дед по матери был крестьянином, специалистом по кружевам, переехавшим в Москву и женившимся на балерине. Обе тёти профессионально занимались музыкой; позднее мать вместе с сестрой Анной организовала популярный в среде интеллигенции любительский драмкружок, в котором, среди прочих, играл молодой Евгений Вахтангов.