発達障害の方と一緒に働いてる苦労、お察しします。向こうも悪気は恐らくは無いでしょうからあなたがその人を嫌うのはお門違いだとご理解されているのだと思います。
それでも時には嫌悪感のような物が出てきてしまいそんな自分に嫌気が差しているのかな、と感じました(全くの間違いだったらすみません、スルーしてください)。
そうですね、当事者ではないので確かな事は言えませんが相手によって辛さを感じているのならなんでこっちが辞めなくちゃいけないのか、と考えてしまうと思います。
私の貧困な知識では有効なアドバイスは言えないので今の状況が少しでも良くなるよう祈らせていただきます。