Разводитесь. Это причина для развода, такая же как и отказ от сексуальных отношений в браке. Попробуйте все таки еще раз поговорить спокойно, может в первом разговоре он ляпнул это необдуманно, и если это правда, то разводитесь. Никто не вправе лишать вас возможности иметь детей.