私は、ダメなものはダメだと、はっきり断るべきだと思います。
こういうことをいつまでも曖昧にしていると、(相手の性格にもよるのですが)もう少し押せばイケるかもしれない、という思いにかられてどんどん押してくるようになる可能性があります。
文章を呼んだ限りでは、彼にはそういった傾向が少なからずあるような気がしました。
もちろん、言葉は選んでくださいね。
一人の男性として、誠実に彼と向き合ってあげてほしいです。
真剣に話せば、主さんの気持ちも伝わるのではないでしょうか。
とにかく、キッパリはっきり誠実に!です。
その後は、一人の生徒として普通に扱っていいと思います。ここで、君のことを特別扱いはできないよ、とやんわりとアピールできれば、すぐには無理だとしてもいずれ納得してくれるんじゃないかと思います。
あくまで私個人の意見ですので、参考程度に。