Toni Sailer syntyi Kitzbühel vuonna 1935. Hänen isänsä Anton omisti lasiyrityksen, ja Toni kouluttautui lasimestariksi ja putkimieheksi. Hän työskenteli isänsä yrityksessä. Anton Sailer oli myös hyvä alppihiihtäjä. Hänen lapsistaan tuli kaikista kilpaurheilijoita. Toni Sailerin sisko Rosi osallistui Oslon talviolympialaisiin ja veli Rudi kiersi muutaman vuoden maailmancupia ja osallistui MM-kilpailuihin 1970.