他人と会話が楽しめず悩んでいます。

会話に入らなかったり、
気を使いすぎる態度を取ってしまったり、
相槌も過剰かもしれないと、控えめにしたりしています。

職場の人と楽しく喋りたい、と思っていても、
変に思われないか、図々しいと思われるか、
出しゃばり過ぎてイヤだと思われたくない、
という気持ちが先行して話せません。

最近新しい職場になり、
教えてくれる人や近くにいる人とマンツーでなら喋れますが、
多人数、少し距離がある場所からの会話が怖くて中々入っていけません。

元々社交的ではなく、
慣れてくれば話せるのですが、
慣れるまで一年以上かかる事があります。

一人でいるのが変に思われないか、
会話に入らないコミュ障なんだなとか、
悪く思われたら嫌だけど輪に入る勇気がない。
決められた場所でしか話せない。
そんな自分が嫌で変えたいです。
どうすればいいでしょうか?

一つずつ実行してよくしていきたいので、
改善点など是非教えて下さい。
お願いいたします。