Дворец губернатора появился в 1806 году в результате перестройки дома ХVIII века, принадлежавшего шляхтичам Кудиновичам.
Затем его приобрело губернское казначейство для устройства в нем резиденции витебских губернаторов.
Строилось здание в эпоху господства стиля ампир – последней стадии развития классицизма. Перестройки, произведенные в начале ХХ века, привнесли в его облик элементы модерна.
С 1811 года во дворце жил белорусский генерал-губернатор герцог Александр Вюртембергский, брат жены российского императора Павла I. В 1831-м во время первой в Европе эпидемии холеры здесь умер великий князь Константин Павлович, брат императора Николая I. В 1853–1854 годах в доме жил русский писатель Иван Лажечников, тогдашний витебский вице-губернатор.
В 1812-м во дворце две недели жил император Наполеон. Тут он отпраздновал свой 43-й день рождения и именно в этих стенах объявил об окончании кампании 1812 года, однако затем передумал. В 1912-м, в год столетия войны, на средства добровольных пожертвований витебчан рядом со дворцом был установлен памятник в честь героев Отечественной войны 1812 года – 26-метровый гранитный обелиск, созданный по проекту архитектора И. Фомина.
Ныне в бывшем губернаторском дворце размещается Витебское областное управление КГБ.