Od 1956 Muzeum ma swą siedzibę w barokowym budynku dawnego klasztoru benedyktynek, który zaadaptowano dla naszych potrzeb. Od tego czasu pełni on funkcję Gmachu Głównego, w którym mieści się siedziba dyrekcji, Dział Edukacji i Promocji wraz z biblioteką oraz pracownia i magazyny Działu Sztuki.
W tej chwili Muzeum im. ks. dr. Władysława Łęgi, który patronuje instytucji od 2005 r., zajmuje nadto dawną furtę klasztorną – tzw. Pałac Opatek – oraz pięć zabytkowych spichlerzy.
Zespół dawnego klasztoru benedyktynek należy do najcenniejszych zabytków architektury barokowej na Pomorzu. Grudziądzkie spichrze usytuowane na wysokiej skarpie terenowej tworzą unikatowy ciąg obronny, charakterystyczny dla nadwiślańskiej panoramy miasta. Wszystkie reprezentują jednolity typ architektury użytkowo-obronnej.
Muzeum położone jest w centrum miasta, nieopodal Rynku przy ul. Wodnej i Spichrzowej. Już wjeżdżając do Grudziądza przez most im. Bronisława Malinowskiego budynki Muzeum - dawny klasztor i spichrze - są doskonale widoczne i pięknie prezentują się na nadwiślanej skarpie, zapraszając do zwiedzania.
Aby dotrzeć do Muzeum pieszo z dworca PKP (przy ul. Dworcowej) należy kierować się na ulicę Królewską, następnie skręcić w lewo ulicą Rapackiego i dojść do skrzyżowania z ulicą Marsz. Ferdynanda Focha i Al. 23 Stycznia. Po pokonaniu skrzyżowania należy dalej poruszać się Al. 23 Stycznia do skrzyżowania z ulicą Małogroblową.
Z Al. 23 Stycznia należy skręcić w prawo w ul. Małogroblową, następnie w lewo w ul. Szkolną i iść prosto ul. Szkolną do ul. Wodnej, przy której znajduje się Muzeum.
Aby dotrzeć do Muzeum pieszo z dworca PKS (przy ul. Rapackiego) należy kierować się na w prawo ulicą Rapackiego i dojść do skrzyżowania z ulicą Marsz. Ferdynanda Focha i Al. 23 Stycznia. Po pokonaniu skrzyżowania należy dalej poruszać się Al. 23 Stycznia do skrzyżowania z ulicą Małogroblową.
Z Al. 23 Stycznia należy skręcić w prawo w ul. Małogroblową, następnie w lewo w ul. Szkolną i iść prosto ul. Szkolną do ul. Wodnej, przy której znajduje się Muzeum.