ご近所トラブルで外が怖い。外出出来ない。助けてください。私は1歳の子供と旦那と3人暮らしの30代主婦です。お隣に住むおじいちゃん(80代くらい)とのトラブルに巻き込まれました

ご近所トラブルです。
私は1歳の子供と旦那と3人暮らしの30代主婦です。
お隣に住むおじいちゃん(80代くらい)とのトラブルに巻き込まれました。近所でも有名なトラブルメーカーであまり面識はありません。

先日、息子を連れて外出をしようとしたところ、家の前でおじいちゃんとすれ違いました、私は急いでいたのでお辞儀をして素通りしましたが、なんだか背後に視線を感じ、振り向くとおじいちゃんもこちらを見ていました。
なにかあったのかと思いましたが急いでいたのでスルーして歩き出そうとすると、おじいちゃんから怒鳴り声で呼び止められました。
おじいちゃんの話を要約すると
『なんで俺のことを睨みつけるんだ！文句があるなら言ってみろ！！この前もジロジロ見やがって〜』のような事を怒鳴られました。
もちろん睨みつける気などは全くありませんし、文句などもありませんのでその旨を伝え、この前もジロジロ見ていたと話している件はおそらく私ではなく人違いではないか？と伝えました。

子供も連れていますので急に恫喝のようなことをされすごく怖かったです、足が震えていました。
私の返事に対しおじいちゃんはなぜかヒートアップしてしまい、
『いや！！間違いない！！絶対に俺のことを睨みつけた！！前回の件も人違いのはずがない！
俺はここに住む〇〇(名前)だぞ！』のような正直意味のわからない事を言い始めました。
怒鳴り声が怖かったのか子供が泣き出してしまったため、適当に話を切り上げたかったのですが、
さらに、おじいちゃんは
『そもそも目上の人間に挨拶をしろ！お前は非常識だ〜』と10分近く一方的に責められました。
(挨拶はしましたが聞こえなかったみたいです)

おじいちゃんのあまりの怒り具合に驚いて思わず走って逃げてしまいました。
この時に、おじいちゃんの奥様と娘さん(おそらく40代後半)は、少し離れたところにいましたが、全くの見て見ぬ振りでした。

我が家は旦那が出張の多い仕事をしていて家を不在にすることが多くほぼ私と娘の二人暮らしです。
おじいちゃんに怒鳴られたことが、衝撃すぎてこの件以降外出が出来なくなってしまいました…
またすれ違ったら怒鳴られてしまうのではないか、大切な娘に危害を加えられたらどうしようなどと考えてしまいます。

このまま外出出来ないと生活に関わるのでなんとかしないといけないのですが…トラウマレベルで怖い思いをしました…。

なにかアドバイスなどがあればお願いしたいです。
アドバイスじゃなくても話し相手が欲しいです…笑

持ち家ですので引越しはできません…涙
旦那出張中で話し相手がおらず、ここに吐き出してしまいました。駄文読んでくださりありがとうございます。