این خانه در طرح تفصیلی تهران به عنوان بنای ارزشمند لکه‌گذاری نشده بود و وزارت میراث، گردشگری و صنایع هم اصلا این خانه را شناسایی نکرده بود و عوامل شهرداری تهران بدون استعلام رسمی از این وزارتخانه، مجوز تخریب و نوسازی آن را صادر کرد.
به گزارش کاویان گلد به نقل از سفرنویس، عمارت تاریخی و ارزشمند موسویان، خانه‌ی پدری علی‌اکبر رفوگران موسس کارخانه‌ی خودکار بیک، در بی‌خبری وزارت میراث، گردشگری و صنایع و سایر نهادها تخریب شد. عمارتی که قرار بود، مرکز گردشگری سنتی و خانه فرهنگ شود.
عمارت و باغ تاریخی موسویان در زمین‌های برادران «حسین و کریم شریفی حقیقی» بنا شده بود، برادران شریفی در قسمت شمالی همین عمارت، یک یخچال طبیعی ساخته و وقف عام کرده بودند، که شوربختانه در دهه ۵۰ تخریب شد.
بین سال‌های ۱۳۱۰ تا ۱۳۲۱ عمارت مذکور توسط افرادی به نام‌های یحیی کرلو، حاج میرزا علی‌اف (از اعضای اتاق تجار)، نصرالله قانع میلانی و قربانعلی شرقی خریداری و دست به دست شد تا در نهایت امر در سال ۱۳۲۱ آقای علی رفوگران (پدر علی‌اکبر رفوگران موسس خودکار بیک در ایران) این عمارت زیبا را خریداری کردند.
علی رفوگران از کسبه و تجار بازار بودند، که در حوزه‌ی لوازم‌التحریر و… فعالیت می‌کردند و به همین دلیل در میان بازاریان به نام علی تحریریان شهره شده بودند. با توجه به وضعیت بد اقتصادی، در زمان جنگ جهانی دوم و شکست مالی تُجار، علی رفوگران و کاظم رفوگران (برادر) ، خانه را در سال ۱۳۲۳ به سید ابوالقاسم موسویان واگذار کردند.