20年前に離婚した父親との関係について

タイトルにもありますが、20年前に離婚した父親との関係について相談です…
離婚の原因は父親の浮気で自ら家を出て行きました。離婚時の約束は、養育費は払うという条件だけのようでした。（口約束のみだったようで書面等に証拠はなし）
そんな父親が離婚後、浮気女と一緒になれると本人は思っていたようですが実際、女にその気はなく捨てられ寂しくなり連日私達の家の前で待ち伏せし、後をつけるようになりました。母親も養育費ももらっているし…という事で離婚後も会う事は許可していました。そこから父親は完全に父親面。一緒には暮らしていないものの、連日電話してくる、電話に出ないものなら多数のメール。内容も「何で電話にでない、何してるんだ。顔出しに来い」という自分勝手な内容ばかり。母親には養育費をもらっているから成人するまでは耐えろと言われており、それなりの付き合いはしてきました（電話がかかってきたら出る、結婚式には呼んだ、年に1回は顔を出す）。しかし、さすがに自分も所帯を持った今現在もまだ週一ペースで電話がかかってくるのがストレスでストレスで仕方ありません。自宅も知られている為、電話を無視し続けたり、20年前に父親が自分を捨てて出て行った事をなかった事にしているのか、問い詰めたりもしたいけど、そんな事をしたら家に来て刺されるのではないか…旦那の家族に迷惑かけたりするのではないか…（犯罪を犯す位の怖さがある。ストーカー的なしつこさ）と日々どうしたら良いのか悩んでいます。また20年前の浮気した時にした借金を未だに返しているみたいです…ワガママかもしれませんがこのまま今まで通り連絡をとったり家に顔を出す事を続けるのはもう嫌です。（この夏に子供が産まれるので自分の家庭を大事にしたい。父親に祖父面させたくない）やはりキッパリと「あなたとはお付き合いしていく気はありません」と言った方がいいのでしょうか？