Guldvog ble ansatt i Sosial- og helsedirektoratet i 2002, først som divisjonsdirektør i divisjon for helse- og sosialtjenester og fra 2004 som assisterende direktør og fast stedfortreder for helsedirektøren. Han var også konstituert direktør fra 10. mars 2011 til 10. juli samme år og fra 26. oktober 2012 til han ble utnevnt i embedet 14. desember. I desember 2018 fikk han fornyet åremål for seks år, frem til 2024.