Fra 1990 ble Halvorsen aktiv i tre mindre grupper på én gang, «Bone Brothers» sammen med Frode Thingnæs, oktetten Cool-In-West (1990-92), samt en trio i eget navn. I større format deltok han på CD-en «A tribute to Frank Sinatra» med Bjørn Jørgensen Big Band (utgitt 2006), «Live at Lancelot» med Storeslem og «Takin’ off» med Per Borthen Swing Dept, de to siste spilt inn i 2007. I 2006-07 deltok han i John Surmans Rainbow Band («Sessions» utgitt 2011).