好きな人のことについて相談させてください。

私には好きな人がいます。今の学年になって初めて同じクラスになった人で、2回連続で同じ生活班、しかも2回目は隣の席でした。隣の席になってから意識し始めて好きなんだなと気づきました。
二学期に入って修学旅行があったのですが生活班での行動がほとんどだったので彼と一緒にいる時間が多かったです。それより前から彼と私は仲が良かったため、普段の学校生活でも話すことが多かったのですが、修学旅行中に2人だけで話す時間があり、その時更に好きになりました。

そして修学旅行の最終日、クラスのみんなと解散するときに彼に手紙で告白しました。
次の登校日に彼から返事の手紙をもらいました。
内容は「好きだけどトラウマがあるから付き合うことはできない。これからも仲良くしてほしい」とのことでした。両思いだと言うことがしれて嬉しかったし、何より返事をしてくれたことが本当に嬉しかったです。

ですが問題はここからなんです。
クラスに学年で一番苦手だと言ってもいいくらいの子（以後Sとします）がいるんです。私のメンタルがおかしくなってしまった原因とも言っていいくらいの子です。一年生のときにトラブルがあり、二年生に進級してからクラスが離れたということもあり接することはなかったのですが、三年生になって同じクラスになってしまいました。
Sは、男子と信じられないくらい仲がよく、男子といるときだけ声を高くしたり、とにかく（たぶん）男好きってやつです。
なぜだかSが、修学旅行が終わったくらいから急に私の好きな人と仲良くし始めました。
私はよく授業中に無意識に好きな人の後ろ姿を見てしまうのですが、（友達曰く）Sがその後ろ姿を見ている私を横目で見ているらしいんです。休み時間中にわざと私に聞こえるように彼と話したり、前は彼に制服のブレザーを借りていました。

そんなことないって言う人はいるかもしれませんが、たぶん私が彼に告白したのを知ってるもしくは私が彼のことが好きだということを知っていてそういうことをしているんだと思います。

私は告白して返事をもらった今でもまだ彼のことが好きです。
諦めたくありません。
だからといって、S本人に「そういうことやめて」と言うのも、一年生のときのようになにかされそうで怖いです。

私は諦めたほうがいいですか。
アドバイスくれると嬉しいです。
よろしくおねがいします。