僕は女子と関わらない方が良いのでしょうか？

20年間生きてきて、同級生など年齢の近い女子との関係が上手くいきません。

交際経験は２度ありますが、最初の交際(中学生)は２ヶ月でフラれ、すぐに別の男と交際されました。
２度目の交際(高校生)では『一目惚れした』と言われ付き合ったものの、デートの誘いはすべて拒否しわすが２週間でフラれました。その後復縁を持ちかけられましたが、付き合った頃は部活が恋愛禁止だったと言ってきました。だったら、何で告白してきたんだ？ということになり、騙されたことにショックを受けました。

また交際でない関係でも上手くいきません。大学1年の時、僕と同じように悩みが多いと言ってきた中学校時代の同級生とlineをするようになって、食事することになりました。でも店や日時を決めたのに、前々日にキャンセルされ、食事する予定だった日は友達と遊んでいたようでした。

他にもlineしても、いつしか返信が来なくなり、やりとりが無くなったりします。

さらに２回今まで告白をしましたが、２度ともダメでした。

僕は身長が165センチと非常に小さいですし、高校時代にいじめにあう等してコミュニケーション力も低く、顔もブサイクです。見た目はダメダメです。
しかし、自分は『頭が良い』とか『尊敬する』とか言われることがよくあり、自分は人として良い部分がないわけではないのかなとも思います。自分自信は頭が良いとは思いませんが。

でも人として評価される部分もあるなら、交際まで発展しなくても、友人としてぐらいの関係ができるはずです。それでも、今まで関わった全ての女子と上手くいかないのは運が悪いわけでは無く、自分に問題があるはずです。

一体、自分の何がいけないのでしょうか。治したいです。

それとも、治せないから女子と関わらない方が良いですか？