Згадки про нього трапляються в архівних документах 1530 року, коли він належав шляхетському родові Свірзьких. Але сучасного вигляду він набув з середини XVII століття, з часу переходу його у власність графа О. Цетнера (від імені якого названо цілий район — Цетнерівка та ботанічний сад у Львові). Граф наказав перебудувати і значно зміцнити замок.

Існують припущення, що задум Цетнера з укріплення Свірзького замку здійснював відомий фортифікатор, генерал від артилерії Павло Ґродзицький. Роботи з перебудови замку провадились приблизно в той же час, коли генерал Ґродзицький будував у Львові одразу два арсенали — Королівський та Сенявських.

Незважаючи на своє вигідне оборонне розташування (замок розташований на горі Белз і був оточений непрохідними болотами, ставками, в підніжжі мурів — ровами і звідним мостом), палацовий тип його архітектури навряд чи міг мати серйозне оборонне значення. Відомо, що під час українсько-польської війни в 1648—1654 рр. замок не раз здобували козацькі загони, а в 1648 р. — спалили татари.

Але в 1672, під час походу турків на Львів, він все-таки вистояв турецьку облогу. Під час другого походу турків Свірзький замок знову вистояв і захистив у своїх мурах залогу Поморянського замку, що не маючи достатньої сили для оборони, через таємний хід вийшла до лісу і втекла у Свірж.

На території замкового парку зберігся костьол, заснований ще в XV ст. Сучасна мурована будівля костьолу в стиліренесансу, яка поставлена на місці дерев'яного, що завалилася; вона походить з 1541 р. Над входом у костел і нині можна бачити рештки шляхетського герба колишніх володарів. До костелу від замку вів підземний хід. Завалену частину підземного ходу можна побачити з рову, який оточує замок біля перекидного моста.

Львівський краєзнавець Й. Гронський розповідає, що ще в 1956 р. у Свірзькому костелі біля замку (у Свіржі є ще й другий костел) бачив усередині фрески, які відкрилися внаслідок облуплення тиньку. На фресках була зображена оголена жіноча постать з довгим розпущеним волоссям в молитовній позі на колінах на тлі панорами середньовічного Свіржа. Судячи з опису, це могла бути Марія Єгипетська. Подальша доля цих фресок невідома.