地方都市で転職を繰り返すことはマイナスイメージがつきますか？

現在30歳で地方都市の会社で正社員として働いてます。

しかし労働環境が最悪です。
人が入ってはすぐ辞めるの繰り返しで５人いた事務員は２年間で1人以外は全員入れ替わりました。

現場も同じで年中求人がでているというような状況です。
社長はワンマンで、人間関係は最悪です。

私は転職を2回しており、これ以上は転職はしたくないのですが転職も考えるべきだと思いますか？
地方ということもあり、転職を繰り返すことに対して良いイメージがないので非常に悩んでいます。