Nella zona dell'antico casale di San Giacomo, già disabitato al tempo di Federico d'Aragona nel 1489, sotto l'antica chiesa, si trova la cripta della Madonna di San Giacomo.
Il Museo della Civiltà Rurale, fondato il 21 luglio del 2001, nasce grazie alla donazione del sanvitese Vitantonio Vasta che, con pazienza e dedizione, ha raccolto una ricca collezione di oggetti e reperti della civiltà contadina.
La torre quadrata, costruita da Boemondo d'Altavilla nell'XI secolo, sorgeva in una posizione strategica lungo la via consolare che da Carovigno passava per il casale di San Vito e proseguiva per la via Vecchia per Oria.