最初の悩みについてはなにも言えませんが、最後?の「手を上げるのにビクッとしてしまう」というのに対して僕の意見を述べさせてもらいます。
その方に、「普段怒らないお父さんが小さい頃になんでか物凄く怒って、叩かれたときからそれがトラウマで、お父さん以外の男の人でも男の人が手を上げる仕草を見るだけでビクッてしちゃうんだ」のような感じで何かしらの理由を考えて伝えるのはどうでしょう。
「なにもしないのは分かってるけどどうしてもトラウマが消えなくて……嫌いなわけじゃないから安心してね」など彼を安心させる一言を添えると彼も安心してくれると思います。
あくまで僕の意見なので参考にならなかったらすいません。
・・・小瓶を見る