Felix Andersen ble født i Kristiania som sønn av oberstløytnant Fritdjov Andersen (f. 1860) og Clothilde (f. 1868). Hans mor var av tysk adelig slekt.