Pochodził z rodziny chłopskiej. Ojca, który zginął podczas I wojny światowej, nie pamiętał. Uczył się w gimnazjach w Nitrze i Trenczynie. Maturę zdał w 1934. Studiował w latach 1934–1938 na Wydziale Filozoficznym na Uniwersytecie Karola w Pradze kierunek język słowacki w połączeniu z romanistyką, wiedzę romanistyczną pogłębiał potem na paryskiej Sorbonie. Podczas II wojny światowej pracował jako nauczyciel języka słowackiego i francuskiego w szkołach średnich w Żylinie i Martinie. Brał udział w słowackim powstaniu narodowym, wstąpił wówczas do partii komunistycznej. Po wojnie pracował jako urzędnik, redaktor gazet codziennych, redaktor w wydawnictwie Tatran i scenarzysta filmowy. Z entuzjazmem przyjął idee komunizmu, ale dość szybko na jego wierze w nowy ustrój zaczęły się pojawiać rysy. W 1956 opublikował czasopiśmienniczo rozprawę z kultem jednostki i konformizmem społecznym, „fantastyczny traktat z końca epoki stalinowskiej” "Démon súhlasu" (Demon zgody, publikacja książkowa 1963). W latach 1968–1969 zaangażował się w proces przemian demokratycznych, potępił agresję armii państw Układu Warszawskiego na Czechosłowację. W 1969 wystąpił z KPCz. Był jednym z nielicznych pisarzy słowackich, którzy przez cały okres „normalizacji” objęci byli zakazem druku. Jego książki wycofano też z bibliotek, a jego nazwisko starano się wymazać ze świadomości społecznej. Tatarka utrzymywał stosunki z czechosłowackim ruchem dysydenckim i publikował a samizdacie i wydawnictwach emigracyjnych. Jako jeden z niewielu Słowaków podpisał Kartę 77.