Layard har lemnat sin portfölj somminister