Una buena opción para iniciar el recorrido por la ciudad puede ser subir al mirador situado en la conocida como Torre Mudéjar o Torre del Reloj, en la que, además, se encuentra la oficina de turismo, y desde la que se puede ver una bella panorámica de la ciudad.

Es en la época romana cuando se construyen las primeras fortificaciones en Andújar, vinculadas al control del puente que permitía vadear el río Guadalquivir, y cuando comienza a adquirir gran relevancia gracias a la producción de cerámica terra sigillata que, incluso, llegó a exportarse por todo el imperio. La fortificación definitiva del poblado será obra de los almohades a partir de 1116, aunque, años después, esta tuvo que ser reparada debido a los daños causados por un terremoto que asoló la población.

El castillo o alcázar de Andújar se encontraba en lo que hoy es la llamada Plaza Vieja. Una vez en ella y situados en su acera izquierda, podemos seguir el recorrido de la antigua muralla, de la que, en algunas calles, todavía pueden verse parte de sus restos. Los mejores conservados se encuentran en la calle Silera, tres lienzos y dos torreones, próximos a la que se conocía como Puerta del Sol, una de las siete principales puertas de acceso. El recinto estaba defendido por 48 torreones y cuatro torres albarranas, además de un complejo sistema de puertas fortificadas, antemuros, terraplén y fosos.

Tras ser entregada por un reyezuelo árabe a Fernando III, Andújar se convirtió en punto estratégico para los cristianos ya que, desde aquí, se organiza el asalto y la conquista del Alto Guadalquivir.  Durante la Edad Media la ciudad experimenta un gran crecimiento. El hecho de que la población fuera creciendo más allá del recinto y la progresiva pérdida de sus funciones militares provocaron el deterioro de las murallas. Poco a poco, la fortificación se fue desmantelando o derruyendo, hasta que en el siglo XIX, con la desamortización, el castillo pasó a manos privadas, convirtiéndose, primero en casa de vecinos y, después, en casino. A principios del XX se aprobó su destrucción total para construir sobre su solar un cine que, paradójicamente, también hoy ha desaparecido.