Il castello, più noto come Carcere Borbonico di Montefusco, era in origine una struttura difensiva cinta da mura edificata dai Longobardi. Importanti lavori di ristrutturazione furono eseguiti dall’imperatore Federico II. Dopo la dominazione angioina, il castello passò nelle mani di alcune famiglie aragonesi, e in questo periodo fu trasformato in sede del Tribunale della Regia Udienza Provinciale del Principato Ultra. Ferdinando II di Borbone, nel 1851, adibì l’ex castello-tribunale a carcere politico per i patrioti antiborbonici. Il carcere fu tristemente famoso per la durezza del trattamento riservato ai prigionieri, tanto da essere soprannominato lo “Spielberg dell’Irpinia”.