Under andre verdenskrig holdt han seg hjemme. De første to-tre årene gikk han småturer i utmarken eller ned til sjøen, men en dag kom en mann forbi og snakket om tyskere og nazister som han hatet og avskydde, og «det gjør vel du også,» sa han til Valen, som svarte at «jeg kan ikke hate noe menneske, jeg». Dette ble på bygden til at Valen var tyskvennlig, og han ble helt isolert. Det hendte at folk truet med knyttneven mot huset når de gikk forbi. Men i mai 1945 fikk han besøk av sin elev Bjarne Larssen som gikk i uniform. I bygden ble det til at Valen hadde hatt besøk av en britisk offiser, og da ble han tatt til nåde igjen.