Vogsborg er vokalist i det norske pop/indie-bandet Casiokids, som gav ut tre studioalbum i perioden 2006 til 2012. Han spiller også i The Megaphonic Thrift, Silja Sol, Strange Hellos, KaPLiNG!, Alibiet, O Martin og Divisjonen.