Rosen utdannet seg opprinnelig til murer og arbeidet blant annet på Vor Frue kirke i Aalborg. Senere gikk han på Teknisk Skole i København hvor han ble uteksaminerti 1877. Deretter begynte han på Kunstakademiets bygningsskole hvor han ble uteksaminert i 1882.