우선 질문자님의 남편이 이혼을 거절하고 있어 협의 이혼이 불가하므로 재판상 이혼을 생각해 보셔야 합니다.
민법 제840조는 재판상 이혼원인을 규정하고 있는데 그 사유로는 1. 배우자에 부정한 행위가 있었을 때, 2. 배우자가 악의로 다른 일방을 유기한 때, 3. 배우자 또는 그 직계존속으로부터 심히 부당한 대우를 받았을 때, 4. 자기의 직계존속이 배우자로부터 심히 부당한 대우를 받았을 때, 5. 배우자의 생사가 3년 이상 분명하지 아니한 때, 6. 기타 혼인을 계속하기 어려운 중대한 사유가 있을 때입니다.
남편이 회사 동료와 바람을 피운 행위는 배우자에 부정한 행위가 있었을 때에 해당되므로 이 사유를 주장하여 가정법원에 재판상 이혼을 청구하시면 됩니다.
단, 민법 제841조는 부정으로 인한 이혼청구권의 소멸 사유로 다른 일방이 사전 동의나 사후 용서를 한 때 또는 이를 안 날로부터 6월, 그 사유 있은 날로부터 2년을 경과한 때에는 이혼을 청구하지 못하도록 규정하고 있으므로 이러한 소멸 사유로 인해 이혼 청구를 못하게 되지 않도록 각별히 유의하시기 바랍니다.
