Een groot deel van de geschiedenis van het gebouw aan de Pastoor de Katerstraat 7 in Baarle Nassau – Hertog is geschreven door de Broeders van De La Salle. In 1908 kwamen de eerste broeders zich vestigen in Baarle-Hertog. In dat jaar werd een woning annex grond aangekocht, groot 1.29 hectare, in Baarle-Hertog. Voor de nieuwe bestemming, een opleiding voor jongens die broeder wilde worden (juvenaat)- werd de bestaande bouw met één verdieping verhoogd. In oostelijke richting werd het gebouw één derde langer gemaakt. Aan de andere zijde van het gebouw werd aan een zaal een abcis gebouwd, zodat het internaat over een kapel kon beschikken. Op 1 september 1914 werd gestart met een zogenoemde Nederlandse Normaalschool waar jonge broeders zich verder konden bekwamen tot onderwijzer.

Onder de oorlog van 1914 – 1918 ondervonden de bewoners van Het Klooster (in streektaal: ’t Kloster) een moeilijke tijd onder meer vanwege de noodgedwongen zuinigheid en de gebrekkige omstandigheden waaronder les kon worden gegeven.

In 1970 ontstond voor de Broeders van de Christelijke Scholen de noodzaak om de school- en kloostergebouwen met vijver en park te verkopen: de roepingen waren sterk teruggelopen en het noviciaat stond leeg; de Normaalschool (kweekschool), alsook de Mulo en Mavo hadden elders onderdak gevonden… Geleidelijk begon men de vrijgekomen lokalen ter beschikking van het verenigingsleven te stellen. Een idee om een deel van het gebouw te kopen haalde het niet. Een jaar later heeft een werkgroep zich gebogen over de mogelijkheid om het volledige complex inclusief tuin integraal aan te kopen als infrastructuur voor het verenigingsleven in de gemeente(n). Aanvankelijk kon hiervoor geen steun gevonden worden. Maar tóch besloten de gemeentebesturen van Nassau en Hertog om de gebouwen aan te kopen.

In 1973 werd de Stichting Samenlevingsopbouw Baarle opgericht, een stichting voor opbouwwerk en cultureel werk in de gemeenten Baarle-Nassau (Nederland) en Baarle-Hertog (België). Grondleggers voor de initiatieven die uiteindelijk hebben geleid tot de totstandkoming van het gemeenschapshuis – cultuurcentrum zoals we dat vandaag kennen – zijn Jan Laurijssen, Fons Cornelissen en broeder Jan van der Eem. Zonder twijfel zijn deze mensen de wegbereiders geweest van de socio-culturele functie die het cultuurcentrum Baarle vervult.