Se cree que fue el conde de Argillo quien ordenó edificar la Casa del Escucha en mitad de la huerta. La planta baja consta de la entrada y una única sala, y de ella parte la escalera que permite acceder al segundo piso. Allí encontramos una cocina con hogar y chimenea, y una sala cubierta con bóveda de arista.
Sin embargo, la casa debe su popularidad a la singularidad que le da nombre (“del escucha”): la sala abovedada tiene una acústica que permite oír la voz de esquina a esquina.