職場の人間関係が悪すぎて辞めたいです。

私は30代後半に差し掛かる年齢なのですが去年に新しい会社に転職しました。

仕事自体は簡単な事務で、覚えることは沢山ありますが、自分に合ってると感じています。

しかし、女性の多い職場で、牛耳っているお局グループがいます。

古参の社員5人なのですが、私よりも年下なのにかなり性格がひねくれててまさにお局婆さんという感じです。

この人たちが、自分たちの好きなようにシフトを組んだり、ミスが見つかれば大声で誰がこんなミスしたのー？と言ってきたり、当欠した人の悪口を大声で言ったりしています。

仕事中の私語も酷く、話題といえば、彼氏旦那子供の話、年齢の話とプライベートな話ばかりです。

私は今まで県外の会社に勤めてきたため、ここまでプライベートに踏み込むようなコンプライアンスの欠片もない人たちを見るのは初めてで正直自分以外の人が言われてることですらしんどいです。

プライベートなことを話したくないのであまり会話に入っていなかったのですが、それで反感を買っている気もします。

希望のシフトを外されたり、ミスを皆の前で晒し上げられたりすることが露骨になってきたら辞めようと思うのですが（今現在も若干そういったことをされてはいます）、職場環境で辞めるのはもったいないんだろうかとも思います。

私が気にし過ぎな部分もあると思いますし、年齢的にも転職は踏みとどまるべきでしょうか。
こういう人たちを気にしないようにしていきたいのですがどうしたらよいのでしょうか。
教えてください。