私も似たような経験あります。
私の場合塾ではなくサッカーでした。
じゃあ何も苦しくないだろと思うかもしれませんが私も最初小学生の時は楽しかったです。
でも中学になってからは周りの人との実力差やサッカー自体が嫌いになり
何度も辞めたいと親には言いましたが辞められず、
高校生になる時にようやく解放されて好きな事ができると思いましたがそんな事はなく、サッカーもやらずに高校なんて行かせるかと言われ無理矢理部活動クラスに入れられ入った高校生活は地獄でした。
今でこそ体罰や暴力に厳しいですが私の時は緩く体育会系で先輩からの暴力や奴隷扱い、遠征にいったら一発芸をさせられるなど散々で
でも辞めたら中卒になると思い血便が出ても自殺を何回考えても必死に残って何とか卒業してサッカーとは大学で縁を切りました。
長くなりましたが私が今思い返して思うのは嫌な事を無理矢理しても伸びないしなんの結果も残せず、大人なって残るのはトラウマばかり残ります。
なので勉強は確かに大事ですし、成績が悪いと良い高校大学へ行けず将来苦労しますが、
それよりもしたい事があるならそっちを優先すればいいと今なら思います。
大事なのは辞めてから自分が後悔しないかなんで社会にでたら学歴より実績が大事ですし。
ただ逃げてばっかじゃ大人になってからその逃げた分のツケは来ますからそれは覚悟した方が良いと思う