Kollek Tivadar néven Nagyvázsonyban, zsidó családban született. Nevét Herzl Tivadar után kapta. Ő is osztotta apja, Alfréd cionista eszméit. Bécsben nőtt fel, majd 1935-ben, három évvel azelőtt, hogy a nácik elfoglalták Ausztriát, a Kollek család Palesztinába vándorolt, ami abban az időben brit mandátumterület volt. Kollek lelkesen vett részt egy új közösség megalkotásában, amely 1937-ben jött létre Genezáreti tó partján Én Gév kibuc néven. Ugyanebben az évben elvette Támár Schwartzot, aki két közös gyermeküknek, Ámósz és Osznat Kolleknek adott életet.