Casteren is gelegen aan de oever van het riviertje De Beerze en kent veel prachtig natuurschoon. In oude brieven wordt Casteren ook Castelre en Kerk-Casteren genoemd. Omdat hier Romeinse oudheden zijn gevonden wordt aangenomen dat Casteren is afgeleid van "Castra", wat Latijns is voor legerplaats.
Over de herkomst van de naam zijn meerdere verklaringen gegeven. Oorspronkelijk Casterlo, als samentrekking van Castra (=legerplaats) en Lo (=loofbos), en afgeleid van (de tempel van) Castor, de beschermheilige van de Romeinse ruiters.
Voor het eerst wordt Casteren genoemd in een geschrift van 1173. Het is zeer waarschijnlijk dat al voor die tijd op dezelfde plek of in de buurt mensen hebben gewoond. Het behoorde in die tijd tot het Hertogdom van Gelder, nadien tot het Hertogdom van Brabant.

Op het plein voor de kerk staat het beeld “Casteren Kermis” (zie foto). Kermis en de bijbehorende jaarmarkt was een belangrijk uitje voor het hele boerengezin. Eerst ging men naar de mis in de parochiekerk en daarna bezocht men het café en dronk een borrel. Vandaar dat het beeld een boerenkar laat zien met een boerengezin erop die op weg zijn naar de kermis in Casteren.

Casteren geniet tegenwoordig een grote bekendheid in de regio vanwege de manier waarop zij, vaak via vriendenclubs, voor de dag komen met carnaval. De fantastische gebouwde carnavalswagens met alles daaromheen trekken jaarlijks veel bekijks.