Under andre verdenskrig var Baardson sjømann i den norske handelsflåten og tjenestegjorde om bord på MS «Ravnaas» da hun ble senket av japanske fly utenfor øya Samar i desember 1941. I januar 1942 meldte han seg frivillig i den amerikanske hæren og kjempet i jungelen på øya Cebu, ble fengslet og satt som japansk krigsfange i leire på Filippinene og Japan sammen med amerikanske soldater. Han ble utlevert til USA i 1945, og oppnådde da kapteins grad.