恋人と別れたほうがいいと言われてモヤモヤしています。職場恋愛で付き合うことになり、2年半になる彼氏がいます

職場恋愛で付き合うことになり、2年半になる彼氏がいます。
私は転職し別の会社に就職、彼はまだ同じ会社で働いています。
転勤等の関係で今は別々に住んでいますが、1年ほど同棲していた期間があります。
初期ほどラブラブではないかもしれませんが、倦怠期というほどでもなく、気のおけない関係だと思います。

先日、私たちが付き合っていることを知っている元同僚（彼とは現同僚）から、
・彼は仕事で無駄に残業していたり、仕事上に大きなミスをしたこともある。
・他の同僚に聞いても、彼の仕事上の評価はよくない。
・彼は、あなたが辞めた後に入ってきた新入社員の女の子とよく二人きりになる。怪しい。
・新入社員の女の子は、彼の好みの容姿だと思う。（彼の好きな芸能人に似ているらしい）
・あなたの幸せのためにも、別れたほうがいい。
ということを言われて、ずっとモヤモヤしています。

私は彼と別の部署だったので、仕事ぶりについてはよく知りませんし、
そもそも仕事ができるかどうかを見て付き合ったわけではありません。
正直、仕事上のことをいくら言われたとしても、言ってくる方は彼と一緒に暮らしたこともないわけで、
恋愛面での彼と私の相性には何ら関係ない、と割り切れていると（自分では）思います。

ただ、辞めた後に入った新入社員については私も知らない相手で、普段の様子を見ることもできません。
それでも言われたからには気になってしまいます。
同棲していた時期と比べると彼の動向をあまり把握できないですし、
私と会っていない時間でその子と会っていたら……とよくない妄想を膨らませてしまいます。

決定的な根拠のない元同僚の視点だけで「浮気をしている」と彼を恨むのは、違う気がします。
「新入社員の子と仲がいいの？」と直球ストレートで聞くのも、おかしいように思います。
「あなたの幸せのためにも別れたほうがいい」という私を思っての元同僚の言葉を恨むのも、なんだかきまりが悪いです。

このモヤモヤを発散させる方法が分からず、自分ひとりでずっとモヤモヤしています。
でも文章に書き出してみたら、少しだけすっきりしました。読んでくださった方は、ありがとうございます。