知道我没离婚仍然和我在一起的男人怎么办