Het Waalres Museum is gevestigd in de 'Linnenfabriek Swane'. Dit is in 2000 benoemd tot Rijksmonument, als voorbeeld van een combinatie van woonhuis met fabrieksgebouw, een veel voorkomende negentiende-eeuwse ontwikkeling in de textielindustrie.

Het oostelijke deel van dit gebouw werd in 1861 gebouwd als linnen- en pellenfabriek. In 1899 werd de linnenfabriek uitgebreid richting Markt, waarmee het gebouw zijn huidige vorm kreeg.

De stichting Het Waalres Museum verwierf het gebouw in 1998. Met steun van de Europese Gemeenschap, de provincie Noord-Brabant, de gemeente Waalre, het regionale bedrijfsleven en Waalrese particulieren werd het gebouw in 2000 gerestaureerd.