Elsloo beschikt al voor de Middeleeuwen over een eigen kasteel. In de 15e eeuw wordt het deels verwoest door de Maas. In 1579 vernietigen de Spanjaarden het restant. Het kasteel wordt daarna op een hoger gelegen plaats herbouwd, naast de uit 1522 daterende watermolen. In de loop der eeuwen wordt het kasteel en de watermolen voortdurend gerenoveerd en verbouwd. De ronde toren wordt in 1843 toegevoegd. In 1960 komt het kasteel in handen van de gemeente en krijgt het zijn huidige bestemming. De oude watermolen draait nog steeds. Het fraaie Engelse landschapspark is een wandeling waard.