Het streekmuseum is gevestigd in enkele panden van het historische Sint Paulushofje aan de Markt te Etten-Leur.

De naam van het museum is ontleend aan de vroegere bezitter van een kasteel dat in de dertiende eeuw is gebouwd. Het kasteel is, nadat het geheel in verval was geraakt, in 1816 afgebroken.