ゲストの人数について

既に入籍していて来年沖縄での結婚式を
予定しています。
挙げるのであればゲストは身内だけのこじまんりな式が良いとの彼の意向に賛成して、それならせっかくだから沖縄で！との事で挙げる事になりました。が、今身内をどこまで呼ぶのかで彼と揉めています。
私側は親は母親しかいないのですが、
兄妹が多く更に義兄と義妹がおり、
彼側は両親と妹の計3人で、この時点で私側の方が倍の人数がいます。
そこの差については問題ないのですが、
私は更に自分の伯父2人と伯母1人の計3人を
プラスで呼びたいと思っています。
と言うのも私が片親だけなのもあり
小さい頃から親代わりと言っても過言ではない程
お世話になっているからです。
それについては彼も知っていて、
私が式に呼びたい意思も分かっていてくれているのですが、彼の両親は私の意思はまだ知りませんし、
彼の両親は参加するのは自分達と妹だけでいい。との考えのようで、両親に私の意見を伝えると人数揃えた方がいいのでは？というような話になるとややこしくなるのが嫌なのか、、招待したい！って言うのは簡単だけどこっちも色々考えなきゃいけない。
と後ろ向きな事を言われ彼と揉めています。
確かにどこまで呼ぶかは揃えた方が良いとは理解出来ますし、相談すれば彼の両親もダメとは言わないと思うのですが、こちらだけ倍以上の人数で彼側の家族が気まずくなってしまわないかも不安ですし。
ゲストの旅費と負担は自分達でもつ予定なので
そこも彼に悪いかなぁとも思うので悩んでいます。
こういう時どうしたらいいでしょうか？