Este palacio lo mandó construir la Reina Regente, Dª María Cristina viuda de Fernando VII, para el futuro duque de Riansares (Fernando Muñoz, duque de Riansares, con quien se había casado en secreto el año 1833). Con posterioridad, la Reina Isabel II hizo donación del mismo a la Compañía de Jesús.

En 1926 los nuevos propietarios dan comienzo, justo delante del palacio,a la construcción del colegio-noviciado San Estanislao. En él se inicia la formación religiosa (noviciado) y la de estudios seminarísticos (juniorado) de los jóvenes aspirantes a jesuitas de la Provincia Religiosa de Toledo.

En 1931, y como consecuencia del decreto de supresión de las comunidades religiosas en España promulgado durante la IIª República, los jesuitas se vieron obligados a desalojar el palacio-seminario de Aranjuez y marchar al destierro de Chavetogne (Bélgica).

Durante la guerra civil del 1936 al 1939 el edificio fue usado como hospital militar y refugio de evacuados de la zona republicana. Dos años después de finalizada la contienda, en 1941, se instalan de nuevo en él los antiguos propietarios.

En 1942 se lleva a cabo una importante obra de remodelación en el edificio y se dedica a centro de formación profesional con el nombre de ‘Escuela Loyola’ .

En 1987 la Compañía de Jesús vende la propiedad del inmueble y unos 60.000 m2 de terreno a la sociedad ‘REAL DELEITE DE ARANJUEZ’ que, entre los años 1988 y 1993 lleva a cabo la transformación del antiguo centro docente en Centro asistencial geriátrico para personas de la Tercera Edad. Dicha transformación fue supervisada por Bellas Artes y Patrimonio Nacional. El resultado de la misma puede apreciarse en las amplias, elegantes y actualizadas instalaciones de que se halla dotado el Centro.

Entre las efemérides acaecidas en este centro cabe destacar que en mayo de 1929 falleció en él San José Mª Rubio, recientemente canonizado por el Papa Juan Pablo II .