ViceAmiralen Grefwe de Rigno , Ministerför