ご質問の内容から判断しますと、ミルクアレルギーの可能性が考えられます。小児科を受診してご相談ください。血液検査などで、アレルギーかどうかが分かると思います。
結果が分かるまでは、ミルクを与えずに完全母乳にしましょう。