Fiske spiller i bandet The Amazing med Christopher Gunrup, men har også vært med i Reform. Han spiller også med i Sylvester Schlegels band The Guild, i tillegg til bandene som allerede er nevnt. I 2012 var han med på to plateutgivelser, den første med bandet Svenska Kaputt som i tillegg til Fiske består av Jonas Kullhammar, Torbjörn Zetterberg og Johan Holmegard, og med det norske jazzrockbandet Elephant9 som består av trioen Ståle Storløkken, Nikolai Eilertsen og Torstein Lofthus. Sistnevnte var en av hovedattraksjonene på Kongsberg Jazzfestival 2012.