Muralla
Agramunt estava protegida pel Castell i la muralla. La vila estava dividida en quatre sectors: Barri del Castell, Barri de Sió, Barri de la Plaça i Barri de Sant Joan. En un principi, el castell no era res més que una torre de defensa, que més tard, els Comtes d'Urgell van ampliar fins a convertir-la en castell. Els Comtes no hi vivien tot l'any al castell, però sí llargues temporades.
Al costat d'aquest hi havia una capella, a l'interior de la qual hi havia una imatge de la Verge Maria, la Mare de Déu del Castell que va desaparèixer l'any 1936. El castell va ser derruït a mig segle XVII pels francesos, ja que a l'abril de 1645 el cap de l'exèrcit francès, el Compte Xabot, va dir als consellers de Barcelona que atacaria Agramunt. L'any anterior, 1644, el mariscal la Mothe va atacar la vila quatre vegades, però totes elles sense èxit. Van derruir la Casa de la Vila, unes quantes cases particulars i el castell, no deixant de peu res més que el seu nom. L'únic llenç de muralla que resta visible és el que es troba al carrer del mateix nom i que amb la urbanització de l'entorn s'ha restaurat i dignificat.