Здание нынешнего мемориала было построено в октябре 1961 года и являлось официальной резиденцией второго премьер-министра Малайзии вплоть до его кончины в 1976 году.
Этот дом впоследствии занимал ни один премьер министр и до определенного времени был также известен под названием Sri Taman.
В 1994 году комплекс получил статус Мемориала имени Абдул Разака, заместителя главы Правительства Малайзии с 1959 по 1970 годы. В настоящее время памятник является хранилищем документов, библиотечных материалов и личных вещей покойного премьер-министра.
Глубоко внутри мемориального зала расположены спальня и рабочий кабинет, в которых сохранена обстановка того времени.