職場のシングルマザー

私は現在妻子ある身ですが、職場のシングルマザーと仕事での親しい関係となり、最近その人のことが気になっています。 職場ではその人がリーダー的な立場にあり、私が指示を受ける立場です。 仕事の内容やその他の世話話でも冗談を言い合ったり、 時には恋愛話をするようになっています。 外で会うといったことはないですし、その人も仕事仲間として、 接してくれています。 しかし、最近私の方が気になってしまっています。 これは部署変えるなりして会わない方へ持って行った方が良いでしょうか？