Viljoen word bevorder tot Luitenant-Generaal in 1976 en Generaal in 1980. In 1977 word hy Hoof van die Suid-Afrikaanse Leër en in 1980 die Hoof van die Suid-Afrikaanse Weermag tydens die moeilike grensoorlogdae. Hy tree in 1985 af by die weermag om voltyds te boer in die Ohrigstad omgewing. In 1993 tree Viljoen tot die politiek toe saam met nog drie ander oud-generaals en help met die stigting van die Afrikaner Volksfront.
Kórt voor die Suid-Afrikaanse algemene verkiesing van 1994 stig Viljoen die Vryheidsfront as politieke party vir die Afrikaners. Dié party beywer hom vir die daarstel van ʼn Afrikanervolkstaat. Deur bemiddeling van sy tweelingbroer prof Abraham Carel (Braam) Viljoen word hy oorreed om af te sien van sy ideale vir 'n afsonderlike Volkstaat, en tree die broers toe tot geheime onderhandelinge met Nelson Mandela van die ANC. Die Vryheidsfront wen 640 000 stemme met Viljoen as leier.