Rolfsen ble født i Kristiania (nå Oslo) som sønn av grossist Christen Rolfsen og Astrid Münter. Han fullførte sin videregående utdannelse i 1931, fullførte offisersutdannelsen i 1932, og ble uteksaminert fra Kongelige Frederiks Universitet med cand.jur.-graden i 1937. I 1937 giftet han seg med Randi Kvaal.