Потому и не бросают, потому что любят... Физическая связь и духовная - это разные совершенно вещи. Человек может искренне любить кого-то, а заниматься сексом с кем-нибудь другим. Множество таких случаев из жизни. Зачем тогда человеку расставаться с тем, с кем ему хорошо быть вместе, без кого он жить не может? Проще просто скрывать свои измены.
Другое дело, если чувств к вашему избраннику (избраннице) нет, но есть чувства к любовнику (любовнице). В таком случае нужно немедленно расстаться с тем, к кому вы охладели, чтобы не мучить себя и его (её).