Первые деревянно-земляные укрепления на месте древнерусского поселения были построены Федором Острожским в XIV веке. В XVII веке на месте староко замка была построена крепость бастионного типа. Строительство вел последний представитель рода Острожских Януш или уже его зять Александр Заславский. После Заславских замок принадлежал Любомирским и Сагнушкам.