Rescisión de contrato de arras por vicio oculto

Hace un mes firmé un contrato de compraventa comprometiéndome a adquirir la vivienda antes de noviembre. La sorpresa surgió cuando el banco me comunicó que la casa era una edificación ilegal, puesto que existía una discrepancia de superficie entre el registro de la propiedad y el catastro: mientras en el catastro figuran 250 metros cuadrados construidos, en el registro sólo constan 70. Esa diferencia exigiría una legalización de la situación del inmueble, algo que he requerido al propietario a través de la inmobiliaria que anunciaba la casa, pero no parece dispuesto a ello. El contrato contiene una clausula que establece: "las cantidades entregadas por la parte compradora no le serán devueltas en caso de no llevar a buen fin este contrato, salvo motivo imputable a la parte vendedora". Entiendo que puedo acogerme a esas dos líneas para rescindir el contrato y recuperar las arras. ¿Es así? ¿Debería requerir la devolución al propietario, que es a quien ingresé la señal, o al agente inmobiliario? Lo haría por burofax alegando la existencia de vicio oculto.

Durante la visita al inmueble, ante vendedor y agente, pregunté explícitamente por la correcta situación administrativa de la casa en papeles y si tenía al día de pago todos sus impuestos: la respuesta del vendedor fue "SI", algo que no desmintió el agente inmobiliario presente. Ahora me presiona la inmobiliaria preguntándome cuál es el problema, intentando que les diga que el banco no me financia (aspecto que al no estar recogido en el contrato me haría perder el dinero... Entiendo). Ante esas preguntas siempre le contesto que estoy a la espera de que el propietario proceda a la legalización del inmueble para continuar con la operación.