就労支援A型の支援員について。

こんばんは。当方発達障害（高機能自閉症、LDとADHD）でA型就労支援で働いていてます。元々発達障害への理解をされるのが遅く、いじめや無理解を何年も受けて
いたためか言葉に対して過敏に受け取ってしまう傾向が強く、働く職場にも入社する前にお伝えしたのですが、本日そこにいる支援員の方一人のに｢おはよう。今日の格好いい感じですね。｣と言われ｢そうですか？ありがとうございます。｣と言うと｢いつもそういう格好だといいのにね｣と言われ、その時はその言葉の意味がよくわからなかったのですが後で考えてみると、それっていつも地味（センスがない？）意味なのかな？とモヤモヤしてしまい、帰宅して両親に相談してみたら両親からも本人に悪気は無くても支援員さんのその言葉は聞く人によってはとても失礼に感じると言われ電話にて事業所のサビ管さんに相談したら｢その方は いつもそんな感じだから～考えすぎない方が良いですよ｣と言われ確かに障害者の支援員の人では無いなら理解が無くても仕方がない。と納得できるのですが、こういう方の支援をする仕事をやってる以上一人一人に合わせた支援もして欲しい（事業規約にも書いてあります。）と言ったら｢そう言われたら私達は貴方に話し掛けづらくなる｣と言われてすごく悲しい気持ちになりました。
私は言ってるのはお願いであって向こうからしたらめんどくさいのでしょうか?
前勤めていたトライアル雇用の所は支援員の方が発達障害の事を理解していて、ご相談してもこんな事一度も言われたことが無かったから余計悲しいです。