Der er han i 2007 og 2008. Skarsfjord kom til Brann som assistenttreneren til Steinar Nilsen i januar 2009. Da Nilsen og Brann ble enige om å terminere samarbeidet i mai 2010 etter svake resultater med cuptap mot Fyllingen som klimaks, ble Skarsfjord forfremmet til midlertidig hovedtrener. Den 1. november 2010 fikk han jobben fast og signerte en avtale ut 2013 etter at klubben hadde sikret plassen i Tippeligaen. Han trakk seg som trener for Brann i november 2013, etter dårlige sportslige resultater.