Kolberg fikk oppmerksomhet i 2012 da han ble anklaget for å ha utøvet utilbørlig press mot kommuneansatte i Lier kommune etter at hans stedatter var anmeldt av de kommunale myndighetene for bedrageri. Rådmann Hans-Petter Christensen fortalte at Kolberg hadde truet ham med at han «ikke var til å skubbe seg på.» Ordfører Helene Justad kalte Kolbergs opptreden uakseptabel. Kolberg mente han kun hadde utvist normalt engasjement i en privatsak. Norsk Forbund for Utviklingshemmede uttrykte støtte og Lier Arbeiderparti uttrykte full tillit til Kolberg.. Daværende nestleder i Arbeiderpartiet Helga Pedersen kritiserte Lier kommune for å ha bragt private forhold ut i offentligheten.