23歳で童貞、彼女いたことないって、そんなに珍しくないし、恥ずかしいことではないと思います。異性に興味が無いのであれば尚更です。
ただ、だからと言って異性に対して偏見を抱いたり、過剰な期待はしない方がいいです。性別の違いは大した違いではないです。所詮相手は同じ人間です。
付き合ったことが無いということがコンプレックスになっている人は案外多いと思いますが、あまり気にしないという人も同じくらいいるんじゃないでしょうか。「20代になっても童貞って恥ずかしいよね〜」という意見があるとしたら、あくまでも一部の人の考えですから。恥ずかしく思う必要は無いですよ。
恋愛はしてもしなくても個人の自由です。異性に対して期待しすぎるようなことだけはしない方がいいです。