1. července 1714 podepsali noví majitelé veselského panství, Maxmilián Želecký, svobodný pán z Počenic, pán na Pršticích a Veselí a Maxmiliána Želecká, svobodná paní z Počenic, rozená z Löwenthurmu, a představení řádu servitů zakládající listinu veselského kláštera. Budování nových klášterů se v této době ze strany státu příliš nepodporovalo. Jestliže přesto císař Karel VI. ke stavbě svolil, musela být žádost podložena vážnými náboženskými důvody. V povolovací listině si proto císař Karel VI. vymínil, že řeholníci budou veselský i okolní lid utvrzovat v katolické víře. Aby mohli tento úkol plnit, museli být znalí českého jazyka. Servité se také museli zavázat, že nebudou ani v místě, ani v okolí konat sbírky, aby nekonkurovali starším žebravým řádům a že ve veselském klášteře nebude více než 12 duchovních. S ohledem na jezuitské koleje v Uherském Hradišti a piaristickou kolej ve Strážnici se nový klášter nemohl zaměřit ani na školskou výchovu mládeže. Omezil se tedy na řeholní život a výpomoc v duchovní správě. Stavební práce na veselském klášteře převzal řád sám. Manželé Želečtí po dobu stavby kláštera poskytli na zámku byt pro dva servity, kteří dohlíželi a řídili stavbu. Na stavbě pracovali nejen Veselané, ale i ostatní poddaní z ostatních obcí veselské farnosti (Vnorovy, Kozojídky, Tasov a Žeraviny). Základním existenčním zdrojem veselských servitů byly fundační kapitály Želeckých. Fundační obnos zajišťovala speciální hypotéka na veselském majetku zakladatelů. Ještě před zahájením přípravných prací ke stavbě kláštera zemřel 15. června 1717 jeho zakladatel Maxmilián Želecký. Starost o stavbu zůstala jeho vdově a jeho bratru Janu Felixi Želeckému, olomouckému arcijáhenovi. Během stavby však oba zemřeli, klášteru odkázali finanční prostředky, víno i se sklepem ve Vnorovech, knihy a lékárnu, zlato a stříbro, krajky, kostelní roucha a obrazy. Novým majitelem se dle jejich vůle stal po kmotrovské linii František Karel Chorinský (r. 1731). Od nového pána nemohli čekat takovou finanční podporu, proto byli nuceni k půjčce od sesterských klášterů českomoravské provincie servitských řádů.
31. 8. 1732 proběhlo slavnostní předání kostela a kláštera. Servité žili z výnosu nadačních kapitálů; další prostředky si opatřovali z výnosu zahrad a sadu. Mezi servity a veselskými kněžími docházelo ke sporům. Servité žádali u arcibiskupské konsistoře povolení nedělních ranních kázání v jejich kostele. Záležitost se však protáhla, neboť konsistoř byla ochotná žádosti vyhovět, jen pokud to nebude na úkor farního kostela. Servité dostali zvláštní biskupký dekret, podle něhož se v neděli a ve svátek směly bohoslužby konat jen mezi 7-9 hodinou, aby se nepřekrývaly s bohoslužbami ve farním kostele. Mohli asistovat ve farním kostele při hlavních bohoslužbách a vypomáhat ve zpovědnici. I přes tato omezení se však servitský kostel stal duchovním střediskem Veselí a okolí.
Stavba byla dokončena roku 1734, ale výzdoba interiéru a přístavba průčelních věží, které pro nedostatek prostředků, jež byl umocněn ve 40. letech i pruskými válkami, nebyly vybaveny barokními helmicemi, se protáhly až do roku 1764, vyznačeného v chronogramu nad hlavním portálovým chrámem: LoCVshiCsItDoMVsoratIonIs – „Toto místo je dům modlitby„. Servitský klášter znamenal v té době pro Veselí i značný kulturní přínos. V klášteře vznikla velká knihovna s knihami nejen teologickými, ale též z jiných vědních oborů. O založení knihovny se přičinili nejen servité, ale i zakladatelé kláštera a jeho četní příznivci. Veselští servité dosahovali při bohoslužbě také vysoké úrovně hudebního doprovodu. Ještě před dokončením vnitřní úpravy kostela byly počátkem 50. let 18. stol. na kůru vystavěny nové varhany. K figurální hudbě však nezbytně patřily ještě dechové a smyčcové nástroje, jejichž postavení v chrámové hudbě nebylo nikdy oficiálně legalizováno, ale bez nichž by si ani církevní představitelé chrámovou hudbu nedovedli představit. Slavnostnější hudební produkce nebývaly jen o hlavních církevních svátcích, ale i o řádových svátcích, při bohoslužbách za zakladatele kláštera a nepochybně při primiční mši sv., kterou zde měl 3. dubna 1743 Matěj František Chorinský, syn veselského pána. Svou péči nevěnovali servité jen duchovnímu, ale také tělesnému blahu místních obyvatel. Maxmiliána Želecká odkázala klášteru mimo jiné také svou lékárničku, která se stala základem klášterní lékárny. Řeholníci zde připravovali léky a prodávali je do celého veselského okolí. Lékárna měla kromě prodejní místnosti ještě laboratoř a komoru. Lékárně lze připsat zásluhy na likvidaci epidemie v roce 1758. Podle nápisu v kryptě, kde je pohřben, patřil mezi první servity ve Veselí Vít M. Plattner. Založil bohovědné studium a jako představený za dobu 10 let dokončil stavbu kostela a kláštera.
V době Josefinských reforem byly kostely i veselský klášter v ohrožení. Císař Josef II. zrušil patentem všechny kláštery, které nepřispívají ničím viditelným k dobru bližního a občanské společnosti. Ke zrušení byl navržen i veselský klášter. 4. 11. 1784 byla oficiálně ukončena existence veselského kláštera – hradišťský krajský hejtman přečetl zrušující dekret, přítomní servité jej potvrdili svým podpisem. Následovala prohlídka kláštera a soupis veškerého majetku. Část kostelního náčiní a ornátů byla převezena do brněnského skladiště předmětů ze zrušených klášterů. Servité mohli zůstat ještě dva měsíce, zůstali však ještě 2 roky, protože čekali na výsledek snahy veselské vrchnosti o obnovu kláštera. František Jan Chorinský se svým bratrem Matějem Františkem, brněnským biskupem, žádali o vrácení ornátů a skvostů, které jako odkaz jejich předků neměly být kostelu nikdy odvezeny. Navrhovali také, aby klášterní budovy s lékárnou byly předány řádu Milosrdných bratří, ale jejich žádosti byly zamítnuty.
Teprve po tomto neúspěchu začali veselští servité pomýšlet na odchod. Poslední servité odešli z Veselí počátkem roku 1786. Náboženský fond rozhodl budovy kláštera odprodat kvůli nákladům na udržování a opravy. Přední křídlo kláštera bylo přiděleno veselskému farnímu duchovenstvu, zbylou část i s přilehlými zahradami koupil vojenský erár pro svůj zásobovací úřad. Zrušení servitského kláštera znamenalo pro veselí ztrátu jak po stránce náboženské, tak i kulturní. Zřízení vojenské pekárny, skladiště a později i nemocnice v klášterní budově bylo slabou náhražkou za to, co Veselí ztratilo. Kostel nadále zůstal pro veřejné bohoslužby a před zrušením se obyvatelům města podařilo zachránit dnešní kostely sv. Bartoloměje a Panny Marie, které byly označeny jako zbytečné, ale občanům města se podařilo úředníky přesvědčit, že tomu tak není a oba kostely mají význam z hlediska kapacity kostelů a počtu obyvatel ve městě a přilehlých částech. Bývalý klášterní kostel se postupně stal hlavním veselským chrámem a r. 1858 byl prohlášen farním kostelem. Roku 1890 zakoupila veselská obec od vojenského eráru bývalé klášterní budovy i se zahradou a upravila je na třídy. Roku 1891 se sem přestěhovala chlapecká i dívčí škola. Roku 1910 bylo do jedné z klášterních místností umístěno také veselské muzeum.