Knudsen var sønn av presten Rolf Godwin Knudsen, og tilbrakte størsteparten av oppveksten i Bergen, der faren var sokneprest. I tidlig barndom opplevde Børre at faren ble arrestert av Gestapo for å ha advart konfirmantene sine mot å la seg verve til militærtjeneste under Quislings regjering. Rolf Knudsen var en av de aller første prestene i Norge som ble arrestert slik, og slapp ut igjen senere uten varige mén.