W Gmachu Głównym Muzeum mieści się zainaugurowana 7 maja 1961 r. stała ekspozycja „Galeria Współczesnego Malarstwa Pomorskiego” a ponadto także sale wystaw czasowych, gabinet Dyrektora Muzeum, Dział Edukacji i Promocji, Dział Sztuki, muzealna Biblioteka z pracownią dokumentacji oraz pomieszczenia administracyjne.
Gmach Główny Muzeum należy do zespołu dawnego opactwa benedyktynek usytuowanego w południowo-zachodnim narożniku Starego Miasta – przy dawnych murach miejskich, pomiędzy Bramą Wodną, a nieistniejącą już Bramą Toruńską. Powstanie zespołu klasztornego datuje się na rok 1624, kiedy to zarządzeniem Zygmunta III średniowieczna prepozytura św. Ducha została oddana benedyktynkom z Chełmna. W 1631 r. powstał pierwszy klasztor fundacji Justyny z Knutów Działyńskiej, starościny pokrzywnickiej. Wniesione wówczas budynki zostały spalone w 1659 r. podczas oblężenia miasta przez Szwedów, a zakonnice czasowo przeniosły się do swojego folwarku w Turznicach. W latach 1728-1731 przystąpiono do rozbiórki starego i budowy nowego opactwa. Pomiędzy 1750 a 1752 r. odnowiono kościół św. Ducha, powiększono klasztor oraz wzniesiono m.in. dom księży - prawdopodobnie wg projektu architekta Henryka Kahla (obecnie nieistniejący), tzw. Pałac Opatek, wirydarz (ogród na wewnętrznym dziedzińcu), furtę z figurą św. Jana Nepomucena i browar.
W latach 1818-1836 nastąpiła stopniowa kasata klasztoru. Jego budynki przeznaczono na cele szkolne i mieszkalne dla nauczycieli, a świątynię przekazano w 1823 r. gminie luterańskiej na kościół garnizonowy. W tym samym czasie rozebrano wirydarz, dom księży od ulicy barokowe bramy i wieżę przy kościele.
Cały zespół został zniszczony pożarem podczas działań wojennych w 1945 r. Po wojnie rozebrano mury przylegające do dawnego klasztoru. W latach 1950-1954 odbudowano klasztor – pod okiem prof. dr. inż. arch. Stefana Zarębskiego – z przeznaczeniem na Muzeum. Przy odbudowie nawiązano do dawnego wyglądu zewnętrznego, natomiast wewnętrzny układ pomieszczeń został poddany znacznym przekształceniom ze względu na zmianę funkcji użytkowej. Budynek został uroczyście oddany do celów ekspozycyjnych 21 lipca 1956 r.