Il castello fu costruito tra il 1375 e il 1381 da Cansignorio della Scala appartenendo così al complesso di opere difensive del territorio di Verona.
Nei quattro secoli di dominazione della Serenissima Lazise divenne il paese più importante della sponda veronese del lago e il castello fu adibito a residenza dei magistrati della Repubblica veneziana.
Successivamente gli austriaci lo vendettero ad un privato cittadino che lo utilizzò come cava da pietre, quindi solo con l'arrivo del conte Buri fu mantenuto quanto ancora rimasto e il porto antico, che negli ultimi due secoli era stato abbandonato e ridotto a palude, venne trasformato in giardino.
Oggi il castello è di proprietà privata e può essere visitato solo dall’esterno.