Местечко Смиловичи в разное время принадлежало представителям разных родов, среди которых Огинские, Монюшко, Ваньковичи.
Замок в Смиловичах появился в XVII веке при Огинских. Именно эта постройка послужила основой для дворцового комплекса, который частично сохранился до сих пор. В первой половине XIX века военный судья войск ВКЛ Станислав Монюшко начал возводить на месте старого замка новый дворцовый комплекс. Тогда же был заложен и приусадебный парк.
Ансамбль масштабно достраивался еще в конце XIX века, после чего здание условно поделили на два корпуса (старый и новый). В начале XX столетия, когда имение принадлежало уже Ваньковичам, в неоготическом дворце размещались зимний сад, архив, где хранились документы представителей нескольких родов, владевших Смиловичами, большая библиотека и картинная галерея, в которой особое место занимала картина Валентия Ваньковича «Адам Мицкевич на горе Аюдаг».
Дворцовый комплекс был частично разрушен во время Второй мировой войны.