Los primeros reyes de la casa de Austria lo visitaron frecuentemente y Felipe II celebró en él la boda con su cuarta esposa, Ana de Austria. Este rey realizó importantes reformas e hizo cubrir las techumbres con agudos chapiteles de pizarra, lo que le da el aire de los castillos centroeuropeos.
Tras la instalación de la Corte en Madrid, el Alcázar perdió su condición de residencia real y pasó a convertirse en prisión de Estado durante más de dos siglos.
En 1762, el rey Carlos III fundó el Real Colegio de Artillería, el cual se instaló en el Alcázar hasta que el día 6 de marzo de 1862 un incendio destruyó las techumbres y dañó la estructura.
La restauración se inició en 1882, y en 1896 se concluyó la obra de fábrica. En este año el rey Alfonso XIII, y en su nombre la reina regente María Cristina, entrega el Alcázar al Ministerio de la Guerra con destino exclusivo al cuerpo de artillería.
En 1898 se instala, en la parte superior del edificio, el Archivo General Militar, donde continúa en la actualidad.
En 1951 se crea el Patronato del Alcázar con la finalidad de atender a la conservación del edificio.