훌륭한 질문이네요. A little bit too much는 somewhat too much(약간 너무 많다)는 뜻이에요. Too much는 원하는 것보다도 훨씬 많다는 의미로 쓰이는 반면, a little bit은 소량이라는 뜻이에요.
그래서 a little too much는 필요한 양보다 조금 더 많다는 뜻이에요.
문법적으로는 맞는 문장이지만, 굉장히 격식을 차리지 않은 문장이기도 해요. 포멀한 문장이라면 slightly too much라고 해야할 거예요.
예: I think I put a little bit too much sugar. (설탕을 좀 많이 넣은 것 같아.)
예: She ate a little bit too much cake and now she has a stomachache. (그녀는 케이크를 조금 많이 먹어서 배가 아팠다.)