Grefwe Piper , Swerige-Norgesminister