上のお子さんは何歳ですか？　下のお子さんは3ヶ月ですから、だんだん表情が豊かになっていることでしょう。首がすわるころだと思いますので、上のお子さんも一緒に地域の子ども家庭支援センターなどに遊びに行きながら、日中母子3人だけの生活を楽しむとよいと思います。
あなたは「人を悪く言ってはならない」と思い、本来の感情を心の中に抑えているようですね。そのために、とても疲れるのではないでしょうか？　また、苛立ちや気分の浮き沈みは、育児のせいというより、義父母に気を遣いながらの生活が要因になっているのではないでしょうか？
夫と子どもたちだけで生活ができれば、今感じている思いも変わっていくと思いますし、夫も、その方が育児に協力的になると思います。家族4人の生活を十分に楽しんでから、いずれ義父母と一緒に生活していけばいいのではないかと思います。ご夫婦で、ぜひ話し合ってみてくださいね。