I 1952 trådte Viljoen inn i Union Defence Force, den senere South African Defence Force (SADF). Sin militære offisersutdannelse (1954 til 1954) påbegynte Viljoen ved et studium på Universitetet i Pretoria, som han avsluttet med en B.Sc. (B. Mil). Viljoen sluttet seg til den sørafrikanske forsvarsmakten i 1956.