義父母との関係

34歳男です。
みなさんの意見を聞かせてください。
私は働いており、妻は専業主婦です。
結婚2年で子供もおり、家族幸せに暮らしています。

2019年にできちゃった婚をしました。
婚姻日から半年後に第一子が誕生することもあり、妻からの提案で妻の両親の家に２年程住まない？と言われ、住むことになりました。
この時の私の気持ちとしては「妻のケアなど助かる面はあるだろうけど、なにより断ると両親が僕に対してどう思うか心配だし断りづらいな」と思いました。
同居が始まり、義父母ともにいい人ではあります。
ただ、3日に一回頻度で妻と義母のケンカがありました。
原因としては、義母が料理を作るのを手伝え・もっと家事を手伝え等です。
それに妻は娘なので、従うときもあれば、妊婦のためしんどい時等は反発したりもしてたようです。
私の仕事は日曜月曜が休みで、2週に一度は義父母、妻、僕揃って家族会義。
義母も最初は妻とケンカしてましたが、次第に僕がちゃんと注意しないからとなってきました。
それでも住ませていただいてるので、僕から言っておきます、いつもすいませんと謝っていました。
そのような日々が続き、出産一ヶ月前に義父から「出ていってくれ」とのこと。
妻は大激怒。「出産一ヶ月前の娘を追い出す親がどこにいる？」。
私も内心は穏やかではなかったです。
しかし、義父母の家にお邪魔していた身ではあるので従い、引っ越し費用の足しとして10万をいただき出ていきました。

元々妻と二人で住んでおり、実家にお邪魔する際に家具家電などは処分したため、
ジモティーなどで再度集めました。
妻はとても動ける状況ではないので、私がやりました。

そういったことがあり、義父母とはしばらく疎遠状態に。
しかし、子供が生まれると妻の心境に変化があったのか義父母に電話で出産報告をすると義父母は病院に会いに来ました。
私も内心はしばらく関わりたくないというのが本音でしたが、
妻の気持ちもわかるので来てくれた義父母にお礼を言いました。

それを気に再度交流が始まりましたが、義母と妻はケンカをたびたびします。
そうなると、妻は機嫌が悪くなり僕たちの家庭の雰囲気も悪くなりました。

そういったことがあり、
僕の心のなかでは今、僕のいないときに妻と子供だけで義父母と関わってほしくない！という気持ちがあります。
いじわるで会わせないようにしてるのかなと僕自身考えましたが、
月に一度は必ず義父母と僕たち家族で車で大きい公園やショッピングモール、妻の実家に遊びに行くようにするなどはしていますので、いじわるから来るものではないと思います。
妻が一人で実家に帰るのは少し複雑ですが、義父母の娘なので僕がどうこう言う権利はないと思い何も言いません。
しかし、子供を連れて行く場合僕の休みで一緒に行けるときにして！という気持ちになります。
妻は「私はあなたの両親に同じことをされても、そんなことは言わない」と言います。
文章も下手で、長々と申し訳ありませんが、
これは僕がおかしくて、心の狭い人間なのでしょうか。
厳しい意見でも結構ですので、ご意見いただけたらと思います。
よろしくお願いします。