家庭環境が複雑な彼との結婚、やめるべきか前向きに捉えるか

・相談者→26歳社会人(現在フリーター、今後再就職予定)
・彼氏→25歳大学院生(大手企業から内定を貰い、来年から社会人)

すぐに結婚する予定はありませんが、お付き合いしている彼との今後について真剣に悩んでいます。
お付き合いして4年半になる年下彼氏の家庭がとても複雑で、大まかな家庭環境については、交際1年の頃に聞いていました。
当時は、私も23歳で結婚をリアルに考えていなかったこと、また、自分の両親も家庭内別居中で不完全な家庭であることから親近感が湧いたこともあり、そこまで重くは捉えていませんでした。
しかし、先日彼と一悶着あったことから真面目な話になった際、新たに衝撃的な事実を知りました。
まず、彼の家庭環境を大まかに記すと、
・母親がバツ2
・妹は実の妹ではなく、彼の叔父の実子
(叔父が元嫁と離婚した際に夫婦ともに親権を放棄したため、彼の母が代わりに引き取った)
・上記の事情がありながらも、母、叔父、祖母、妹が現在も同居している(母と叔父は不仲)
・既婚の姉が居るが、聴覚障害を持ち、彼曰くまともに会話ができる性格ではない

上記だけでも複雑なのですが、新たに金銭的な事情を聞き、前に進む勇気がなくなってしまいました。
私は全く知らなかったのですが、少し前から授業料や仕送りを全くもらわず、一部の光熱費等以外は奨学金＋バイト代で全て自分で賄っていたそうです。
また、それに加えて大学1,2年の頃から継続的に母親にお金を貸しており、返ってきていない額だけでも50万から100万にのぼるそうです。
使用用途は、妹の学費や、実は縁を切れていなかった元旦那への貸金、生活費などだそうです。
しかし、以前から彼の家族の話を聞いてきて、収支ともに改善できる部分があるのではないかと甚だ疑問に思い、彼を可哀想に思うと同時に、彼の母の金銭感覚や考え方を受け入れることができません。
彼の母はパートで月10日しか働かない、なのにお酒が好きで毎日500m缶のビールを2,3缶は飲む(これがないとやっていられないと言ってるそう)、叔父は自営業だが働きが悪く収入が少ない、おまけに猫を７匹も飼っています。もちろん貯金は無いそうです。
お金が足りず、子供に借りるぐらいの人がする生活だとは思えませんし、このような状況で将来同棲や結婚をした際、私は金銭的な協力はできません。
今後、彼母が働けなくなれば、大手企業で稼ぎ頭の一人息子を頼ることは目に見えていますし、不安しかありません。

2ヶ月ほど悩み、彼に自分の気持ちを伝え、つい先日別れ話をしたのですが、「受け入れなくちゃいけないがすぐには受け入れられない」「〇〇が居なくなったら何も無くなってしまう」「本当に大好きだったのに、なんで」等と言われ、後ろ髪を引かれる思いで辛いです。
恋愛に奥手な私が初めて心を許した相手であり、22歳手前で初めてお付き合いした大事な存在でした。
優しくて、真面目で、環境のせいにせず努力をしてきた人で、これまで私が伝えた不満にも誠実に向き合ってくれました。
考えることや価値観も近く、情もあります。
彼自身は、家族に対する反面教師の気持ちが強く、大手企業に就職予定ですし、真面目な人なのであまり心配はありませんが、家族への不安は拭えません。
私自身家族の問題でとても辛い思いをしてきたことから、家族のトラブルは少ないに越したことないと思いますし、今のところ幸せになれる方法も思いつきません。
「将来は妹が母の面倒を見ると言っている」「結婚したら奥さんや子供が優先だから、場合によっては母を突き放すかもしれないけど、それでも無理か」などと言われましたが、優しくて責任感のある彼が、母親をどこまで突き放せるかも今は分かりません。

また、最近、彼の余裕のない行動(鍵が見つからず舌打ちをする、セールスの電話にキレて軽い暴言を吐く)を見るようになったり、お付き合い当初から一度も夜の営みがうまくいっていない(入らない)等の事情が重なり、別れるなら今のタイミングなのではないかと思いました。

良いところもたくさん知ってますし、今後彼ほど性格が合って、大事に思ってくれる人が現れるか分からず、別れることが正解なのかもわかりません。
長々とすみませんが、何かアドバイスをくだされば幸いです。