新居と旦那の実家との距離について

新居を今悩んでいます。

私家族構成
父、母、弟（24）
私は長女（27）
実家には両親２人暮らし。
弟職場の理由があり実家に戻る可能性低い

旦那家族構成
父、母、弟（35）
旦那は長男（37）
弟は彼女もいなく、結婚の気配なし
この家庭に現在私旦那と５人で生活中
３LDKで決して広くはありません

昨年入籍、挙式をしました。
お付き合いの期間も含めて４年程彼の実家に一緒に住んでいましたが
結婚を機に新居を探してます。
義両親の家は私と旦那の両方で通勤に便利なこと
コンビニ徒歩１分、スーパー徒歩５分という環境です。
また私の実家も彼の実家から近く、同じ市内、学区内、車で５分の距離です。
義両親のことは嫌いではありませんが、正直今まで暮らしてきてみた結果つかず離れずが丁度いいと思いました。
ただ私と旦那の実家が近いので彼の実家を離れる＝私の実家とも離れるという事になります。
義両親の家の場所が比較的便利な環境の為、なかなか好条件が見つからなく・・・
そんななか、彼の実家の徒歩１分という近い場所に新築分譲区間が出来ました
もともとその土地は私たちが車の駐車場として借りていた土地で、彼も小さい頃からなじみのある場所です。
日当たりや近所のことのため環境も知っていてここなら安心と思えます。
私は家を買うとしたら建売だけは嫌だなぁ～と思っていましたがそこは建築条件付きの土地なので、尚好条件なんです。
私の実家も彼の実家も近いですし、将来のことを考えてもその方が安心かなと思います。
今と変わりない環境で住めます。
問題が場所のみなんです。
義両親の家から徒歩１分、目と鼻の先です。
義両親は家を出れば通りがかりに見えます。
４年も一緒に住んでいたのでお互いのことは理解していますし、性格的に毎日家に来るなどはないとは思うのですが。
孫が出来て環境が変わったらと思うと不安です。
義理ではなく実の両親でしたらまだよかったのですが・・・
彼の両親は何も言ってきませんし、家も出たければいいよと言ってます。
もう一つひっかかる点、彼は本家長男です。
昔より今はさほど気にしなくはなってきましたが、義母もそうやって一緒に住んできたので
将来の世話は私なのかなと思っています。
だからこの徒歩１分はかえっていいことなのかとも考えてます。