Na de Japanse invasie begin 1942 en de capitulatie van het Koninklijk Nederlandsch-Indisch Leger werd zijn vader overgebracht naar een krijgsgevangenkamp in de buurt van Tokio. Brouwers belandde met zijn grootmoeder Elisabeth Henrica Pos (1885-1945), zijn moeder en zus eerst in het jappenkamp Kramat. Na een paar maanden werden ze overgeplaatst naar het kamp Tjideng, in een buitenwijk van Batavia. Zijn grootouders hebben de kampen niet overleefd. Hij schreef in 1981 over deze Japanse bezetting van Indonesië een boek "Bezonken rood", vertaald in 1988 in het Engels als "Sunken Red". Zijn jeugd in Indonesië speelt ook een rol in zijn romans "Het verzonkene" en "De zondvloed". Deze drie romans zijn later in één band uitgebracht.