「いけないことですよね」と周りの目を気にした言い方をしているようですが、あなた自身はどう考えているのでしょうか。
お兄さんが好きですか？
好きだけども、性的関係をもったことが怖いですか？
そう思うのは変ではないですよ。そういう関係にはある種の暴力性が伴うこともありますから。具体的にどんな状況だったのか知りませんが、あなたが少しでも迷いを感じていて嫌がったにもかかわらず、無理に性的関係をもつことになったのなら、それはレイプ（性暴力）です。
互いの同意がないセックスはどんな間柄の人同士であれレイプです。
とにかく、あなたが今のお兄さんとの関係に不安を感じるなら、あなたが好きだと思ったり言ったりしたこととは関係なく距離を取って冷静になるべきです。あと、できれば心理カウンセリングを受けてください。客観的な意見があると頭が整理できます。
あと、お兄さんに彼女がいるのに関係を持ったことに罪悪感を持っているのであれば、あなたには責任はあんまりないと思います。
今そのことに罪悪感を覚えているなら、関係をもったときも罪悪感を感じたのではないかと思います。もし「こんなことはよくない」と言える機会があれば言っていたのではありませんか？兄弟というのはどうしても年齢による力関係が発生してしまいます。弱い立場にいる人が何も言えずに溜め込むのは珍しくありません。ほとんどの責任は、年上であり、その彼女と付き合っている当事者である故に主体的に考える必要のあったお兄さんにあります。
あと、お兄さんに恋愛関係を抱くことについてですが、私は特に悪いと思いません。兄弟間で恋愛関係になったり性的関係を持つことはタブー視されていますが、兄弟姉妹で恋愛関係を持つ例は世界中に存在します。ドイツでは兄弟婚の合法化が検討されています。イギリスでは兄弟姉妹で性行為することが違法ですが、一方でパートナーシップという結婚とほぼ同じ扱いの関係を兄弟姉妹で結べるようにすることの是非が議題に上がったりしています。
私が思うに、兄弟姉妹の恋愛がタブー視されるのは、多くの人にとって自分の家族との性行為が受け入れがたいものだからでしょう（障害児が生まれるリスクが上がるという指摘もありますが、子供を作らないなら問題にはなりません）。しかし、それはその人たちがどう感じるかという話です 。
あなたの感情はあなたのものです。あなたが好きだと思うなら好きでいいのです。（私はMtFなので、自分の感情を否定される辛さは理解しているつもりです。）
ただ、恋愛感情にはその裏に依存関係や歪んだ権力構造が隠れていることがあります。あなたが好きな人に認められたいとか、弟で力が弱いからという理由で、ただ柔順に何でも受け入れてしまうなら、健全な関係を築けているとは思えません。
私が思うに、本当に兄弟で健全な恋愛をするのであれば、あなたの意思は性行為に及ぶ前に確かめられるべきであり、行為のあとに混乱しないような状態であるべきでした。何歳なのか分かりませんが、互いに人生経験を重ねて“大人”になってから本当に兄弟どうしでいいのか確認してから次の段階に進むくらいの余裕が必要だったと考えます。
こういうことを言うのは不信感を増すだけかもしれませんが、あなたのお兄さんは自分の欲求を満たすためにあなたを利用しているだけなのかもしれません。そういった点も含めて、カウンセラーのような頼れる人と相談しながら冷静に判断しましょう。辛ければ逃げ出してもいいのです。
一応、性暴力被害者のための相談窓口の情報を貼っておきます。
http://www.gender.go.jp/policy/no_violence/avjk/pdf/one_stop.pdf
https://www.nnvs.org/shien/list/
