La torre quadrata, costruita da Boemondo d'Altavilla nell'XI secolo, sorgeva in una posizione strategica lungo la via consolare che da Carovigno passava per il casale di San Vito e proseguiva per la via Vecchia per Oria.
La torre, decorata da merli di tipo guelfo, presenta sulle pareti stretti pertugi che permettono l'illuminazione dei tre ambienti interni sovrapposti, di cui quello più basso, è l'antica cappella dedicata a San Vito martire. L'accesso originario alla torre avveniva attraverso un ponte levatoio che si abbassava dalla finestra situata sulla porta della cappella.