Не знаю, мне кажется, в вашей ситуации надо уже не факт убирать (бороться бесполезно - будет тогда просто от вас скрывать, на работе задерживаться и т.п.), а мужчину.
Но это мое мнение.

Самые большие проблемы в жизни мужчины начинаются со слов женщины: "Я тут подумала... "