Han er sønn av kunstneren Birger von Brömssen og hans hustru Elvi f. Tengblad. Brömssen (opprinnelig Bröms) er en adelsslekt fra Livland. Den ble adlet i 1678 og introdusert på Riddarhuset i Stockholm to år senere.