職場の招待客について悩んでいます!!

いつも皆さんの意見、参考にさせて頂いています。
私は今年５月に結婚式をあげる予定をしています。

私の職場は、組織のトップが部長、その下に副部長が３人います。この間、部長・副部長４人全員に結婚報告をしにいき、もし都合があえば式にも来ていただきたいと言いました。私の同期が今度４月に結婚予定で、４人呼ぶと言ったので、私もそうすべきかな？と思ったからです。ところが先輩にきくと、今まで４人とも呼んだ人はいなくて、部長と直属の副部長しか呼ばなくていいとのことでした。
私は正直、直属以外の副部長が苦手で、出来れば呼びたくありません。
１度来てほしいと言ってしまった方を断るのは失礼すぎるでしょうか？
一応、彼の仕事関係の招待客とのバランスで、職場の人をあまり呼べなくなってしまい、来て頂きたかったのですが、直属の上司だけお声をかけさせていただく形になりました、と伝えるつもりです。
失礼でしょうか？我慢して招待すべきですか？
ちなみに結婚後も仕事は続ける予定です。

よろしくお願いします。