Арестован в 1948 году. Обвинялся по статьям 58-10 и 58-8/17 (террористические намерения). Во время следствия более трёх месяцев содержался в Сухановской тюрьме. Осуждён Особым совещанием на 10 лет лагерей. Срок отбывал на Колыме в лагерях «Днепровский», «Лазо», «Оротукан», «Известковый», «Челбанья». Освобождён в 1955 году. Реабилитирован в 1956 году.

В 1963 году вместе с Б. Бабиной, З. Гандлевской, П. Мясниковой, И. Алексахиным и другими узниками ГУЛАГа создал колымское товарищество. В 1989 году 100-тысячным тиражом вышла составленная им книга «Доднесь тяготеет» - воспоминания двадцати трёх узниц ГУЛАГа. Авторы её решили объединиться и вместе с колымчанами создали Московское историко-литературное общество «Возвращение», официально зарегистрированное в 1990 году. С тех пор Семён Виленский – его председатель.

Вместе со своими товарищами, членами «Возвращения», С.С. Виленский провёл четыре международных конференции «Сопротивление в ГУЛАГе» (1992-2002). Составил хрестоматию для старшеклассников «Есть всюду свет. Человек в тоталитарном обществе». Главный редактор издательства «Возвращение» и журнала узников тоталитарных систем «Воля».