谨为王世充属下洧州长史。618年，随洧州刺史崔枢归属唐朝。任检校邹州别驾、右武候长史。李勣、尉迟敬德向秦王李世民介绍把他召入秦王府。
玄武门之变.武德九年六月（626年7月），太子李建成逼迫当时是秦王的李世民政变，以拥立自己成为皇帝。李世民幕僚长孙无忌、尉迟恭等劝告李世民先发制人，进行政变自己当皇帝。李世民很犹豫，征求秦王府幕僚们的意见，大家都支持政变。李世民又命人进行占卜以卜吉凶，当时恰好秦王府的幕僚张公谨从外面进来，便将占卜的龟壳夺过来扔在地上，说：“占卜是为了决定疑难之事的，