Han var sønn av Gaddo Gaddi, en kunstner som lite er kjent om, Taddeos kunstutdannelse kam hovedsakelig gjennom at han var elev av, og assistent til, maleren Giotto di Bondone. Cennino Cennini viser til Taddeo som Giottos fadderbarn og hevder at deres relasjon varte i 24 år.