通勤時に知的障害者の男性に執着行動を取られています。

毎朝30分ほどかけて徒歩で通勤をしているのですが、20分くらい歩いた辺りで毎朝同じ自転車に乗った男性（20～30代前半くらいに見える）に追い抜かれます。
歩道+自転車用ゾーンがあるのでそんなに狭い道ではないのですが、スピードを緩めた徐行の状態で真横を通り過ぎながら必ず顔を覗き込んできます。歌っていたり独り言？を話していたりすることが多く、ニヤニヤと笑っています。
通り過ぎた後は3～4回振り返って顔を見られ、先の信号が赤の場合は振り返った状態で私が追い付くのを待っています。
人通りが全くない訳ではない道ですが、他の人にやっているところは見たことがありません。
今朝は雨だったので傘を差していたため顔を隠すようにして歩いていましたが、運悪く私が信号待ちをしているタイミングで追いつかれてしまい、傘の中を覗かれそうになりました。（頑なに覗かせませんでしたが）

目が合わないように気を付けたり信号が赤になったら歩みを遅くしたり手前で止まったりと対策していますが、反射で顔を上げてしまって目が合うこともありました。
勤務地の関係で時間とルートをずらすのが現状難しく、3カ月以上続いているのですごくストレスです。

男性は私の勤め先の200～300メートル手前の倉庫に勤めていることがわかっており、見かけで判断してはいけないことは重々承知していますが、挙動や表情などから障害のある人だと思っています。
ネットで調べると警察に相談しても良いと出てきますが、障害のある人相手に直接的な対策を取ってはくれないのでは？と思いためらっています。
どうしたら良いでしょうか、、