相手の優しさに甘えて雑な扱いをする人が多い気がします。怒らないから、嫌な顔しないから何しても平気だって思ってる人が世の中多いと思いませんか？

怒らないから、嫌な顔しないから何しても平気だって思ってる人が世の中多いと思いませんか？
自分はフツーに仲良くなりたいだけなのに、距離が近くなるとだんだん雑な扱いされてしまいます。
それである時我慢のキャパ超えて私がその人の前から消えて離れます。すると相手は焦って構ってアピールしてきます。
ほぼみんな同じパターン。それでも私は戻りません。

雑な扱いする人に「雑な扱いされて悲しかった。もうしないで欲しい。」と直接伝えたこともあります。相手は最初は反省して優しく丁寧に人として接してくれたけど時間が経つとまた雑になりました。だから再びすぐに距離を置きました。すると相手は「どうせまた戻ってくる」と思うらしく最初は余裕な感じでした。でも時間が経っても私がまったく戻ってくる気配すらないのがわかると、相手からのアピールが増えてきました。私が他の人（同性でも異性でも）と仲良くしているのを知るとさらにアピールが強くなりました。
中には離れて一年以上経ってもアピールしてくる人もいます。「だったら最初から雑に扱うなよ」って思いますが、でも誰もなぜ私が離れていったのか理由を聞いてくる人はいません。つまり彼らはやっぱり私を「都合の良い存在」としてまたそばに置いておきたいだけで、私がどう思っているかなんてどうでもいいんだなってわかります。

私はよく人から「優しい」「わがままを言わない」「あまり自己主張しない」と言われます。もっと主張しなよって言われたこともあります。たしかに他の人と比べると私はおとなしい方だと思います。自己主張も自分はしてると思いますが、他の人と比べると少ないかもしれません。だから相手も甘えて雑に扱っても怒らない、受け入れてもらえると勘違いするみたいです。

最近、ある人（異性）に雑な扱いをされ距離を置きました。彼の周りの人たちは私に探りを入れてきたり行動を監視してきます。そういうのももううんざりなので全部テキトーに流すか無視してます。たぶん根拠のない私の噂もたくさん流れていると思います。いつものパターンです。

距離が近くなっても雑に扱わない人はどこにいるのでしょうか？