Первый камень в строительстве дворца Бутримовича был заложен 9 сентября 1784 года. На торжественной церемонии заложения присутствовал сам король Станислав Август Понятовский. Дворец строился в течении 10 последующих лет по проекту архитектора К. Шильдхауза.
Здание построено в эпоху слияния барокко и классицизма, однако добавлены также детали и элементы канонического стиля. Дворец состоит из 3-х корпусов, образующих П-образную фигуру. Строго симметричную композицию разбавляет среднее здание с залом овальной формы. Оно немного выступает на площадь, где раньше был разбит роскошный сад, и обращено к реке Пине. Архитектор создал строго симметричную композицию, центральная часть которой – круглый зал – была несколько выдвинута на богато декорированную террасу главного фасада. Из зала, следуя оси симметрии, можно было попасть в вестибюль и на парадное крыльцо или же через 2 боковых выхода в малые прямоугольные залы и кабинеты. Все парадные помещения одноэтажного с высоким цоколем дворца располагались в главном, центральном корпусе. В боковых крыльях-корпусах находились жилые комнаты и кабинеты. Цокольный этаж отводился под хозяйственные помещения и комнаты для прислуги. Помещения дворца располагались по коридорному и анфиладному принципам таким образом, что залы главного корпуса образовывали 2 параллельные линии, переходящие с помощью угловых залов с особыми наружными входами в левый и правый каскады помещений боковых корпусов. Внутреннее убранство залов отличалось роскошью, богатством и великолепием. Стены по всему периметру здания были расчленены пилястрами, оконные проёмы украшали фронтоны, фасадный декор завершал хорошо развитый антаблемент.
Видный общественный и политический деятель, городской судья Матеуш Бутримович, местный шляхтич, а также бывший посол от Пинска на знаменитой в истории Речи Пасполитой был первым владельцем дворца. Матеуш был истинным патриотом своего родного края, принимал активное участие в мелиорации болот и строительстве каналов, благодаря чему Пинск стал международным портом. В последующее время дворцом Бутримовичей владели три именитых полесских рода: Бутримовичи, Орды и Скирмунты. Эти семейства были богаты на талантливых людей: скульпторов, живописцев, писателей, историков. В XIX веке здесь жил и творил знаменитый художник, музыкант, педагог, композитор Наполеон Орда. Благодаря последней хозяйке дворца, Констанции Скирмунт, картины Наполеона Орды были переданы в Краковский музей, что спасло их от неминуемой гибели во время большого пожара, случившегося в дворце в 1901 году.
В советское время дворец служил Пинским Домом пионеров и детским кинотеатром.
В 2009 году во Дворце Бутримовича были проведены большие реставрационные работы. Так, в настоящее время в боковых корпусах проводятся церемонии бракосочетаний.
Так же во Дворце проходят интересные обзорные экскурсии, на которых не только дети, но и взрослые могут найти что-то познавательное для себя, а также познакомится с историей, архитектурными особенностями Дворца и скульптурами, украшающими парадную площадь.