借用書のない借金について

4年前、詐欺(マッチポンプのようなもの)に遭い、払う必要のないそのお金を払うために複数の友人から計180万ほど借りました。去年、そのうちの1人が、借金を一括してくれることになり、お金を借りている相手が1人に。 その人との契約は、性行為をするたびに借金を減らすというものでした。それに耐えられなくなった私は現金で返すことになったのですが、それでも会うたびに性行為を強要したり女性を紹介しろと言ったり…。会うのも嫌になって振込で返していたのですが、その人の家に預けていた荷物を私に1人で取りに来させたり、なにかと私との接点を求めてきます。 こんな状況でも私はお金を返す必要があるのでしょうか。借用書がないので相手は私が返さなくなってもなにも言えないのではないでしょうか？ 返すのが当たり前であるのは重々承知の上ですが流石に耐えきれなくなって相談しました。ご返答お待ちしております。