対人関係で悩んでいます。

人との距離をなかなか縮められず、初対面は割と大丈夫なのですが、それ以上仲良くなっていくのが苦手で、とても時間がかかります(年単位で)
警戒心が強いのか、心を開いていくのに時間がかかり、何年も付き合って、ようやく少しずつ安心できるようになる感じです。
なので、たまにしか会わない人(ご近所さん、親戚付き合いなど)はいつまでも警戒心が解けず、とても苦手です。

数十年単位で付き合っている友人はそこそこいる反面、新しい付き合いを友人関係まで繋げていくのが、年々難しく感じるようになっています。(長くかかることを考えると)
周りの方を見ると、もっとスピーディに人間関係を築き仲良くしれているように見え、どこか置いて行かれているように感じます。
新たな出会いの中には、繋げていきたい素敵な方もたくさんいらっしゃるので、どうにかうまく付き合っていきたいと思うのですが、どうも他人行儀になってしまいます。

どうにか、もう少し早く仲良くなれないものかと思うのですが、何かアドバイス頂けたらありがたいです。

※補足です※
双極性障害の叔父と同居していて、我が家にパラサイトしている状態なのですが、躁状態と引きこもりを繰り返していて、躁状態の時はギャンブル、借金、高圧的になる、引きこもり時は全く喋らない、自殺未遂、という感じで、ずっと振り回されててきて、常にどうなるかわからないのでビクビクして過ごしてきました。叔父との関係が対人関係への不信感、不安感に少なからず繋がっていると思っています。