Sono stati i Conti di Biandrate a edificare per primi il fortilizio sulla collina nota come il Castellaccio, dove si trovano anche la piccola chiesa parrocchiale di San Silvestro - di origine quattrocentesca con rimaneggiamenti barocchi - e i resti della cinta interna e della torre. Il castello, munito di torrioni circolari e di torretta, proprietà dei Caccia e poi dei Cattaneo di Cavaglietto, costituiva il primo baluardo difensivo sulla strada che da Novara saliva verso la Valsesia. Distrutto, durante la guerra tra i Visconti di Milano e il Marchese di Monferrato, il maniero passa sotto il controllo dei Caccia di Mandello Vitta e infine dei Cattaneo di Cavaglietto che ne sono proprietari fino all’inizio dell’Ottocento.