面接は私服でお越しくださいと言われたら何を着ていくべき？

現在求職中の者です。
ある企業の面接が決まったのですが、服装はスーツでなくても大丈夫です。気楽な服装で来てください。うちはいつもそうなんです～。といった感じで言われたんです。
正直、私としてはスーツが間違いなく気楽だったんですが、このような対応された場合、どのような格好で行くのが良いでしょうか？

スーツは禁止とは言われてませんが、わざわざこのようなこと言ってるわけですから、スーツで来た場合、好印象に受け取ることはないでしょうし、むしろこの人は話が通じない人なのかと思われるかもしれません。
となると、襟付き(襟なしも？)のシャツとジャケットが無難でしょうか？
そのような服を普段切ることがないので買う必要があるのですが、ユニクロにそのような服もありますでしょうか？
下はジーパンはNGとして、上はセーターやスウェットなどまさに普段着のような恰好もNGですか？

ちなみに職種は福祉関係で、作業着を着て、もしくは私服のまま作業するような仕事だと思います。