誘ったゲストを断ってもいいでしょうか

都内で同じ職場だった女性5人と、
転職してからも月1程度でご飯に行っていました。
結婚を機に今年栃木（都内から電車で2時間弱）に引越し、
引越し後会う事はなかったのですが、仲良くして頂いていた事もあり、
8月下旬に電話で結婚式への招待の連絡をしたのですが、誰も繋がらず、
8/28に招待状を送りたいので住所を教えて欲しい旨のメールを送りました。

7月の時点で挙式日も連絡しており、
改めて招待状について連絡する旨はメールで報告済です。

3人は、翌日頃までに欠席の連絡を頂きました。
しかし残りの2人に関しては、その後全く音沙汰もなく、
欠席と思い、他のゲストへ招待状も発送してしまいました。
しかし、本日になって2名から出席のメールが届きました。
しかも同じ時刻に続けて･･･。
正直言いますと、嬉しいよりも、困惑している方が大きいです。

来て頂ける事は、嬉しい事ですし、遠いところ感謝しなければと思うのですが
連絡して10日以上経っての出席の返事で
再度出席確認をしなかった私のミス＆私達の都合にはもちろんなってしまうのですが、
もっと早めに返事が欲しかったというのが本音です。

また、連絡を頂いたうちの1人は、
メールを送っても常に返事がなく、
招待のメールも返信がなかったら
今後のお付き合いはしない方向で考えようと思っていた程です。
もう1人も、最近は体調が優れないので、
メールを送っても返信がないような状況でした。

来て頂ける事は、本当にありがたい事と考えようとは思うですが、
どうしても10日以上経っての返信に、納得できないと言うか釈然としないというか･･･
上手く説明できないのですが、スッキリしません。
そしてお断りしたい･･･とも考えてしまったりするのです。

主人からは、誘っておいて返信が遅かったから断るのは
まずいのでは？と言われています。
失礼な事も十分理解しています。
断れば、今後お付き合いがなくなる事も想像出来ます。
しかし、こんなモヤモヤした状況でお2人に出席頂いても、
当日、私が笑顔でいられるか、心配な程です。

お2人にこのまま出席頂いた方がいいのでしょうか？
または、お断りしてもいいのでしょうか？
お断りするのであれば、どのような理由でお断りすればいいのでしょうか？

他のサイトで同じ内容で相談させて頂いていますが、
まだアドバイスを頂けてない為、ご相談しました。