男ですが、そんなこと絶対ないです。男女関わらず、セクハラしていいはずはないです。
被害を経験したことがないので何とも言えませんが、異性に対するトラウマになったという人の記事もネットで見たことがあり、相当傷を負う経験だろうと思います。
意に反することをされたら、それは勇気出して声を上げるべきです。それで一部に批判されても無視して大丈夫です。不器用な人もいるかもしれませんが、大多数の人は女性を尊重してくれます。むしろ、例えば、些細なボディタッチでも「こんなことしたらセクハラかな…。嫌われるかな…。」と少し気にしすぎる男性も多いと思っています。(個人的に、「女は男の体をさわれるのに…」と、これがまた男性にとって一種の生きづらさになってる気もしています。)
一人ひとりが適切に声を上げて、お互いを尊重し合える世の中になってほしいです。