시장 내 상가를 당근마켓 직거래로 계약했습니다(공인중개사 없이 계약서만 작성).

계약 전 전 임차인에게 영업신고증·사업자등록증 발급, 가스설비 공사, 덕트 공사가 가능한지 물었고 전부 가능하다는 답을 들었습니다. 이 말을 믿고 계약한 뒤 보증금과 권리금을 지급했습니다
이후 상인회로부터 해당 건물이 무허가 건물이라 영업신고와 설비 공사가 불가능하다는 사실을 들었습니다. 상인회는 원래 안 되는 자리인데 전 임차인에게만 예외로 허용해 준 것이라고 합니다. 전 임차인은 "나에게 해준다고 했으니 다음 세입자도 해주는 줄 알았고, 안된다는 말 안했으니 해준다는것과 뭐가 다르냐"고만 주장합니다.
결국 사업자등록도 설비도 불가능해 계약을 해제했고, 임대인에게 보증금은 반환받았습니다. 그러나 전 임차인은 권리금 반환을 거부하고 있습니다. 상인회는 이 시장은 원래 권리금 없이 들어오는 곳이라고 하는데, 전 임차인은 본인은 내고 들어왔다며 못 준다고 합니다.

권리금을 돌려받을 수 있는지 궁금합니다 .
그리고 권리금을 돌려받을 수 있는데 상대방이 반환안하면 어떤 방법으로 진행해야하는지 알고싶습니다.