La Zuda o Azuda, sede de los gobernadores musulmanes, se levantó sobre uno de los torreones de la muralla romana.
Tras la reconquista, fue palacio residencial de los Reyes de Aragón, desde Alfonso I el Batallador hasta Jaime I. En la actualidad, la Oficina de Turismo de la Diputación General de Aragón ocupa su planta baja.
El aspecto que ofrece el torreón en nuestros días es el resultado de la restauración realizada por Francisco Iñiguez (1946-1952), quien dio prioridad a la etapa renacentista sobre las anteriores.