유부남인지 몰랐어요. 이런 경우 어떻게 해야 하나요

브랜드 옷매장에서 아르바이트를 하고 있어요. 남자 매니저님과 둘이서 매장을 운영하고 있는데 매니저님이 항상 저를 챙겨주고 잘해주시는 모습에 사귀게 되었어요~그런데 어느날 매니저님의 와이프라며 저에게 연락이 왔어요. 제가 불륜을 저질렀다면서 가만 안두겠다고 합니다. 본사에도 말해서 저를 해고하고 다시는 얼굴 못들고 다닐 줄 알라며 폭언과 욕설을 하는데 무서워서 제대로 말도 못하고 전화를 끊었어요. 근데 정말 유부남이라 생각하지도 못했고 결혼했다는 말도 안했어요. 데이트를 할 때 매니저님 친구분도 만났지만 그 누구도 결혼했다는 이야기를 하지 않았고요. 그 전화를 받고 따졌더니 미안하다는 말만하고..바로 헤어졌어요. 저는 절대 유부남인지 몰랐는데 불륜이라고 합니다. 이런 경우 제가 어떻게 대처를 해야 하나요?