Geboren in Niederländisch-Indien, dem heutigen Indonesien, wurde er nach der japanischen Invasion Javas im Jahre 1943 mit seiner Mutter und seinen Großeltern interniert. Die Großeltern überlebten die Internierung nicht. 1947 kehrte seine Mutter mit ihm zurück in die Niederlande. Von 1950 an verbrachte Brouwers mehrere Jahre in katholischen Internaten. 1955 schloss er den Schulbesuch in Delft ab, leistete von 1958 bis 1961 seinen Militärdienst und begann danach eine journalistische Laufbahn.