元々結婚していましたが、前の夫がお金を勝手に通帳から引き出して使い…

元々結婚していましたが、前の夫がお金を勝手に通帳から引き出して使い込んでいたり、嘘をついて夜遊びに出かけたりしていたので、不満は募るばかりでしたが、離婚できずにいました。そんな時に習い事を通して出会った彼と恋愛関係になり、前の夫に不倫したことがバレそうになりましたが、証拠が突き止められず、結局私が今までの夫の行動に我慢ができないということで、離婚するに至りました。その後もその彼と交際は続いていますが、離婚する前に不倫がバレそうになった時、前の夫が親に彼の名前をバラしたので、親もまだ心のどこかではその彼と不倫したのではないかと疑っていると思います。子供もまだ親に預けたりもしてますので、子供を通じて親にバレても困りますし、彼と会うのは、子供が寝室に行ってから忍び込むか、月1回前の夫のところに子供が泊まりに行く時に会ったり、あとはちょいちょい買い物をするといって出かけて、1時間くらい会う程度にして、バレないようにしています。子供も6年生になり、勘づいている可能性もありますが、今のところ何も言われませんし、親や前の夫からも何も言われていないので、バレていないと思って付き合っています。これからもこのままの関係を続けていきたいと思う気持ちもありますが、いつもこそこそして付き合うこともストレスがありますし、不安もいっぱいあります。再婚のことも2人ともあえて触れないようにしている感じです。親や前の夫から何を言われるかわからないですし、子供まで影響を受けて、私の中では再婚したとしても、子供が成人して、家を出てからと考えています。このままの関係を続けてもいいと思いますか？