Halvard Kausland var hele tiden jazzmusiker ved siden av karrieren i det offentlige. Han var medlem av Egil Kapstads kvartett, Magni Wentzels kvartett, Einar Iversens trio, Kjell Karlsens Orkester, laget plater sammen med Bjarne Nerem, Egil Kapstad, Ole Jacob Hansen, Atle Hammer, Magni Wentzel, Grethe Kausland, Terje Venaas, Sigurd Jansen, Carsten Klouman, Ole Paus, Arild Andersen, Øystein Sunde, Per Asplin, Harald Gundhus, Hans Mathisen, Espen Rud med flere. Han gjestet de fleste norske og flere internasjonale jazzfestivaler og var en etterspurt medmusikant. På turné og i festivalsammenheng hadde han oppdrag sammen med Ben Webster, Art Farmer, Oliver Nelson, Gerald Wilson, Gloria Coleman, Scott Hamilton, Milt Hinton, Dick Hyman, Monica Zetterlund, Urbie Green, Benny Bailey, Emil Viklický, Doug Raney, Putte Wickman med flere. Han ledet også egne band sammen med blant andre Ditlef Eckhoff, Harald Bergersen, Hans Mathisen og Harald Gundhus. Han var med i Brunvoll/Kausland septett, Halvard Kausland kvartett og sammen med Harald Bergersen i bandet Woodwork.