Alquiler, agencia inmobiliaria y botellón

Alquilé un piso delante de una plaza hace 7 meses. Nosotros no conocíamos la zona, pero pronto descubrimos que era lugar de encuentro de jóvenes muy ruidosos a diario (era verano), y que hacían botellón los fines de semana (haga frío o calor). Lo alquilamos a través de una agencia que no nos informó de este problema (y entiendo que si hubieran sido éticos lo hubieran hecho, sobre todo porque somos una pareja con un niño pequeño). El propietario está al tanto porque le hemos informado (parece ser que él tampoco conocía el problema porque había comprado el piso para alquilar y no para vivir en él). Desde el principio tenemos, por este problema, una habitación inutilizada para dormir (la principal) porque no hay forma de conciliar el sueño sin ser interrumpido. Tras 7 meses hemos decidido rescindir el contrato y no sabemos si el propietario nos va a exigir la indemnización que establece la ley (supongo que sí).
Mi indignación es sobre todo con la agencia, y no sé si ellos tienen alguna responsabilidad, ya que hemos sido nosotros los que hemos pagado su comisión (en Madrid), y nos sentimos estafados.