Palacio de Asuero y Ester, S.XX