Pochodził z rodziny szlacheckiej herbu Tępa Podkowa. Jego dziadek, Antoni Skowroński brał udział w Powstaniu Styczniowym i po bitwie pod Miechowem został zesłany na Syberię. Ojciec Tadeusza, Roman Skowroński, był lekarzem i znanym w Królestwie działaczem społecznym, zwanym „opiekunem Powiśla”, który po ukończeniu studiów medycznych w Warszawie i studiów uzupełniających w szwedzkiej Uppsali, założył w 1893 roku w Warszawie, Instytut Gimnastyki Leczniczej i Fizjoterapii, a 10 lat później Towarzystwo Opieki nad Chorymi Pozaszpitalnymi. Żoną Romana i matką Tadeusza była Zofia z Budnych (1870–1967).