子どもができず、夫に不倫されたら、別れるしかないのでしょうか。

社内恋愛で結婚6年、子どもができず、
不倫をされて、離婚するかもしれません。

結婚前、夫が入社する前に
社内で他の社員と関係があった私は
当時その件を日記につけていて、
それが夫に見られて
揉めたことがあります。
もちろん、付き合うことになるずっと前に
関係はなくなっていましたが、
結婚をとりやめるか、までいき、
結果受け入れると言ってくれ、
結婚してくれました。

子どもができない理由は
私の恐らく私の子宮疾患で、
不妊治療も7回程体外受精もしましたが、
授かりませんでした。
治療には協力してくれましたが、
あまり積極的ではなく、
お金はほぼ私が出しました。
昨年私の父が亡くなり、
そこから糸が切れた感覚で、
治療を休んでしまいました。

それでも、旅行も頻繁に行ったり、
夫婦仲は良いと思っていましたが、
最近休日に不在がちで、
一度、丸2日連絡がとれず、
何かあったのではと、心配になり
警察に相談してしまったことがあります。
その時、ふらっと帰ってきたときに
泣いている私の前で
子どもができないことを指摘されました。
ショックでしたが、
他にもおかしな行動があったので、
深く聞くと、
一緒に遊んでくれる人がいて、
その人といると楽だ
といわれました。
その人が好きか、私とはいられないのか
と聞くと、私は悪くないが
わからないと言われました。
また、土日は好きにさせてほしいと言われました。

理由は
 結婚前の日記のことを
 最近また考えるようになったこと

 子どもができないこと

 たまたまそのタイミングで
 相手が現れたこと

これが悪いのはわかっているが、
考えているので、土日は好きにさせてほしいと。

謝ることもなく、別れるとも言われず、
平日は一緒に家に居ても、
土日はいない生活が続いています。

夫の同期である仲の良い女性には
他の女がいる話をしているようで、
（社内チャットでのやりとりを見てしまいました）
私はその女性と同じ部署ではないのですが、
私が不倫されていると知られていることを
知ったとき、
気持ち悪いと思いました。

夫のことは好きで、
感謝もしていますが、
なんだか色々難しいなと思うようになりました。
同じ会社だし、親にも誰にも言えず
ここに、たどり着いている私は、
みじめでしょうか。

もし離婚なら
私は今の場所にはいられないので、
色々捨てるつもりですが、
私はどこに向かえばよいのでしょうか。