Vlak vóór we de ingang van het gangenstelsel van Caestert bereiken, passeren we restanten van het kasteel de Caestert, dat vroeger bovenop het gangenstelsel de caestert lag. Onder de kasteelruïne bevinden zich nog 2 kleinener gangenstelsels: de kasteelgrot en de grafkelder. De grafkelders hebben tot in de 19 e eeuw dienst gedaan voor de bewoners van Caestert.