Il castello di Carovigno sorge in posizione eccentrica, sul punto più alto del paese e, per questo, strategicamente più adatto alla difesa.

Eretto nel 1629 dal feudatario Gustavo Serra insiste su un nucleo più antico del 1350 con annessa Masseria denominata in origine "Difesa del Palombaro". Adiacente ad esso sorge l'omonima cappella del XVII sec. (proprietà privata)