Odnoklassniki_ru 21 марта 2011 в 14:04

Архитектура и платформа проекта Одноклассники

Архитектура и платформа проекта Одноклассники

В этом посте расскажем о накопленном за 5 лет опыте по поддержанию высоконагруженного проекта. Надеемся, что коллегам-разработчикам будет интересно узнать, что и как мы делаем, какие проблемы и трудности у нас возникают и как мы справляемся с ними.

Базовая статистика

До 2.8 млн. пользователей в онлайне в часы пик
7,5 миллиардов запросов в день (150 000 запросов в секунду в часы пик)
2 400 серверов, систем хранения данных
Сетевой трафик в час пик: 32 Gb/s

Архитектура

Слоеная архитектура:

presentation layer (презентационный слой или попросту WEB сервера, формирующие HTML)
business services layer (сервера, обеспечивающие подбор и обработку данных)
caching layer (кеширование часто используемых данных)
persistence layer (сервера БД)
common infrastructure systems (системы логирования статистики, конфигурации приложений, локализация ресурсов, мониторинг)

Презентационный слой:

Используем свой фреймворк, позволяющий строить композицию страниц на языке JAVA, используя собственные GUI фабрики (оформление текста, списки, таблицы, портлеты).
Композиция страниц состоит из независимых блоков (обычно портлетов), что позволяет обновлять информацию на экране частями, используя AJAX запросы. Такой подход к навигации позволяет избавиться от постоянных перезагрузок страницы, тем самым важные функции сайта (Сообщения, Обсуждения и Оповещения) всегда доступны пользователю. Без javascript страница полностью работоспособна, кроме функциональностей, написанных на GWT - при переходах по ссылкам она просто полностью перерисовывается.
Функциональные компоненты как Сообщения, Обсуждения и Оповещения, а также все динамичные части (шорткат меню, фотометки, сортировка фотографий, ротирование подарочков) написаны, используя фреймворк Google Web Toolkit.

Подбор, обработка и кеширование данных:

Код написан на Java. Есть исключения – некоторые модули для кеширования данных написаны на C и C++.
Java потому, что это удобный для разработки язык, много наработок в различных сферах, библиотек, open source проектов на Java.
На уровне бизнес логики располагаются порядка 25 типов серверов/компонентов и кешей, которые общаются между собой через удаленные интерфейсы. Каждую секунду происходит порядка 3 000 000 удаленных запросов между этими модулями.
Для кеширования данных используется «самописный» модуль odnoklassniki-cache. Он предоставляет возможность хранения данных в памяти средствами Java Unsafe. Кешируем все данные, к которым происходит частое обращение. Например: информацию из профайлов пользователей, группы пользователей, информацию о самих группах, конечно же, граф связей пользователей, граф связей пользователей и групп, праздники пользователей, некоторую мета информацию о фотографиях и т.п.
Для примера, один из серверов, кеширующий граф связей пользователей, в час пик способен обработать около 16 600 запросов в секунду. CPU при этом занят до 7%, максимальный load average за 5 минут - 1.2. Количество вершин графа > 85 миллионов, связей 2 500 миллиона (два с половиной миллиарда). В памяти граф занимает 30 GB.

Распределение и балансировка нагрузки:

взвешенный round robin внутри системы;
вертикальное и горизонтальное партиционирование данных как в базах данных, так и на кеширующем уровне;
сервера на уровне бизнес логики разбиты на группы. Каждая группа обрабатывает различные события. Есть механизм маршрутизации событий, т.е. любое событие (или группу событий) можно выделить и направить на обработку на определенную группу серверов.
Управление сервисами происходит через централизованную систему конфигурации. Система самописная. Через WEB интерфейс можно поменять расположение портлетов, конфигурацию кластеров, изменить логику некоторых сервисов и т.д. Измененная конфигурация сохраняется в базе данных. Каждый из серверов периодически проверяет, есть ли обновления для приложений, которые на нем запущены. Если есть – применяет их.

Данные, сервера БД, резервные копии:

Общий объем данных без резервирования – 160 TB. Используются два решения для хранения и сервирования данных – MS SQL и BerkeleyDB. Данные хранятся как минимум в двух копиях. В зависимости от типов данных, копий может быть от двух до четырех. Имеется ежесуточный бэкап всех данных. Каждые 15 минут делаются резервные копии накопившихся данных. В результате такой стратегии резервного копирования максимально возможная потеря данных – 15 минут.

Оборудование, датацентры, сеть:

Используются двухпроцессорные, 4-х ядерные сервера. Объем памяти от 4 до 48 GB, в зависимости от функционала. В зависимости от типов и использования данных, они хранятся либо в памяти серверов, либо на дисках серверов, либо на внешних системах хранения.
Все оборудование размещено в 3 датацентрах. Всего около 2 400 серверов и систем хранения данных. Датацентры объединены в оптическое кольцо. На данный момент на каждом из маршрутов емкость составляет 30 Gb/s. Каждый из маршрутов состоит из физически независимых друг от друга оптоволоконных пар. Эти пары агрегируются в общую “трубу” на корневых маршрутизаторах.
Сеть разделена на внутреннюю и внешнюю. Сети разделены физически. Разные интерфейсы серверов подключены в разные коммутаторы и работают в разных сетях. По внешней сети WEB сервера, общаются с миром. По внутренней сети все сервера общаются между собой.
Топология внутренней сети – звезда. Сервера подключены в L2 коммутаторы (access switches). Эти коммутаторы подключены как минимум двумя гигабитными линками к agregation стеку маршрутизаторов. Каждый линк идет к отдельному коммутатору в стеке. Для того, чтобы эта архитектура работала, используем протокол RSTP . При необходимости, подключения access коммутаторов к agregation стеку осуществляются более чем двумя линками. Тогда используется link aggregation портов.
Agregation коммутаторы подключены 10Gb линками в корневые маршрутизаторы, которые обеспечивают как связь между датацентрами, так и связь с внешним миром.
Используются коммутаторы и маршрутизаторы от компании Cisco. Для связи с внешним миром мы имеем прямые подключения с несколькими крупнейшими операторами связи
Сетевой трафик в часы пик – 32 Gb/s

Система статистики:

Существует библиотека, отвечающая за логирование событий. Библиотека используется во всех модулях. Она позволяет агрегировать статистику и сохранять ее во временную БД. Само сохранение происходит с помощью библиотеки log4j. Обычно храним количество вызовов, максимальное, минимальное и среднее время выполнения, количество ошибок, возникших при выполнении.
Из временных баз вся статистика сохраняется в DWH. Каждую минуту сервера DWH ходят во временные базы в production и забирают данные. Временные базы периодически очищаются от данных.

Пример кода, который сохраняет статистику об отосланных сообщениях:

public void sendMessage(String message) { long startTime = LoggerUtil.getMeasureStartTime(); try { /** * business logic - send message */ LoggerUtil.operationSuccess(LogFactory.getLog({log"s appender name}), startTime, "messageService", "sendMessage"); } catch (Exception e) { LoggerUtil.operationFailure(LogFactory.getLog({log"s appender name}), startTime, "messageService", "sendMessage"); } }

Наша система DWH хранит всю статистику и предоставляет инструменты для ее просмотра и анализа. Система построена на базе решений от Microsoft. Сервера баз данных – MS SQL 2008, система генерации отчетов – Reporting services. Сейчас DWH – это 13 серверов, находящихся в отделенной от production среде. Некоторые из этих серверов обеспечивают операционную статистику (т.е. онлайн статистику). Некоторые отвечают за хранение и предоставление доступа к исторической статистике. Общий объем статистических данных - 13 TB.
Планируется внедрение мультиразмерного (multi-dimension) анализа статистики на основе OLAP.

Мониторинг

Мониторинг разделен на две составляющие:

1. Мониторинг сервисов и компонентов сайта
2. Мониторинг ресурсов (оборудование, сеть)
Первичен мониторинг сервисов. Система мониторинга своя, основанная на оперативных данных в DWH. Есть дежурные, чья обязанность мониторить показатели работы сайта и в случае каких-либо аномалий предпринимать действия для выяснения и устранения причин этих аномалий.
В случае с мониторингом ресурсов, следим как за “здоровьем” оборудования (температура, работоспособность компонентов: CPU, RAM, дисков и т.д.), так и за показателями ресурсов серверов (загрузка CPU, RAM, загруженность дисковой подсистемы и т.п.). Для мониторинга “здоровья” оборудования используем Zabbix, статистику по использованию ресурсов серверов и сети накапливаем в Cacti.
Оповещения о наиболее критичных аномалиях приходят по смс, остальные оповещения отсылаются по емейлу.

Технологии:

Операционные системы: MS Windows, openSUSE
Java, C, C+. Весь основной код написан на Java. На С и С+ написаны модули для кеширования данных.
Используем GWT для придания динамики WEB интерфейсу. С использованием GWT написаны такие модули как Сообщения, Обсуждения и Оповещения
WEB сервера – Apache Tomcat
Сервера бизнес логики работают под JBoss 4
Балансировщики нагрузки на WEB слое – LVS . Используем IPVS для балансировки на Layer-4
Apache Lucene для индексирования и поиска текстовой информации
Базы данных:
MS SQL 2005 Std edition. Используется во многом потому, что так исторически сложилось. Сервера с MS SQL объединены в failover кластера. При выходе из строя одной из рабочих нод, standby нода берет на себя ее функции
BerkeleyDB – для работы с BDB используется своя, внутренняя библиотека. Используем BDB, C реализацию, версии 4.5. Двухнодовые master-slave кластера. Между мастером и слейвом родная BDB репликация. Запись происходит только в master, чтение происходит с обеих нод. Данные храним в tmpfs, transaction логи хранятся на дисках. Каждые 15 минут делаем бэкап логов. Сервера одного кластера размещены на разных лучах питания дабы не потерять обе копии данных сразу.
В разработке новое решение для хранения данных. Нам необходим еще более быстрый и надежный доступ к данным.
При общении серверов между собой используем свое решение, основанное на JBoss Remoting
Общение с SQL базами данных происходит посредством JDBC драйверов

Люди:

Над проектом работают около 70 технических специалистов. Из них 40 разработчиков, 20 системных администраторов и инженеров, 8 тестеров.
Все разработчики разделены на небольшие команды (1-3 человек). Каждая из команд работает автономно и разрабатывает либо какой-то новый сервис, либо работает над улучшением существующих. В каждой из команд есть технический лидер или архитектор. Он ответственен за архитектуру сервиса, выбор технологий и подходов. На разных этапах разработки к команде могут примыкать дизайнеры, тестеры и системные администраторы.
Например, существует отдельная команда сервиса Группы. Или команда, разрабатывающая коммуникационные сервисы сайта (такие как системы сообщений, обсуждений, ленту активности). Есть команда платформы, которая тестирует, обкатывает и внедряет новые технологии, оптимизирует уже существующие решения. В данный момент одна из задач этой команды – разработка и внедрение высокоскоростного и надежного решения для хранения данных.

Основные принципы и подходы в разработке

Разработка ведется небольшими итерациями. Как пример жизненного цикла разработки можно привести 3-х недельный цикл:
0 неделя - определение архитектуры
1 неделя - разработка, тестирование на компьютерах разработчиков
2 неделя - тестирование на pre-production среде, релиз на production среду

Практически весь новый функционал делается «отключаемым». Типичный запуск новой «фичи» выглядит следующим образом:
1. функционал разрабатывается и попадает в production релиз
2. через централизованную систему конфигурации функционал включается для небольшой части пользователей. Анализируется статистика активности пользователей, нагрузка на инфраструктуру
3. если предыдущий этап прошел успешно, функционал включается постепенно на все большей аудитории. Если в процессе запуска нам не нравится собранная статистика, либо непозволительно вырастает нагрузка на инфраструктуру, то функционал отключается, анализируются причины, исправляются ошибки, происходит оптимизация и все повторяется с 1-го шага

Best practices, tricks & tips

Специфика работы с СУБД:

Мы используем как вертикальное, так и горизонтальное партиционирование, т.е. разные группы таблиц располагаются на разных серверах (вертикальное партиционирование), а данные больших таблицы дополнительно распределяются между серверами (горизонтальное партиционирование). Встроенный в СУБД аппарат партиционирования не используется - вся логика располагается на уровне бизнес сервисов.
Распределенные транзакции не используются - все транзакции только в пределах одного сервера. Для обеспечения целостности, связанные данные помещаются на 1 сервер или, если это невозможно, дополнительно программируется логика восстановления данных.
В запросах к БД не используются JOIN даже среди локальных таблиц для минимизации нагрузки на CPU. Вместо этого используется денормализация данных или JOIN происходят на уровне бизнес сервисов. В этом случае JOIN происходит как с данными из БД, так и с данными из кеша.
При проектировании структуры данных не используются внешние ключи, хранимые процедуры и триггеры. Опять же для снижения нагрузки на CPU серверов БД.
SQL операторы DELETE также используются с осторожностью - это самая тяжелая операция из DML. Стараемся не удалять данные лишний раз или используем удаление через маркер - запись сначала отмечается как удаленная, а потом удаляется фоновым процессом из таблицы.
Широко используются индексы. Как обычные, так и кластерные. Последние для оптимизации наиболее частых запросов в таблицу.

Кеширование:

Используются кеш сервера нашей собственной разработки, реализованные на Java. Некоторые наборы данных, как например профили пользователей, социальный граф, и т.п. целиком хранятся в кеше.
Данные партиционируются на кластер кеш серверов. Используется репликация партиций для обеспечения надежности.
Иногда требования к быстродействию настолько велики, что используются локальные короткоживущие кеши данных полученных с кеш серверов, расположенные непосредственно в памяти серверов бизнес логики.
Кеш сервера, кроме обычных операций ключ-значение, могут выполнять запросы по данным, хранящимся в памяти, минимизируют таким образом передачу по сети ненужных данных. Используется map-reduce для выполнения запросов и операций на кластере. В особо сложных случаях, например для реализации запросов по социальному графу, используется язык C. Это помогает повысить производительность.
Для хранения больших объемов данных в памяти используется память вне кучи Java (off heap memory) для снятия ненужной нагрузки с Java GC.
Кеши могут использовать локальный диск для хранения данных, что превращает их в высокопроизводительный сервер БД.

Оптимизация скорости загрузки и работы страницы

Кешируем все внешние ресурсы (Expires и Cache-Control заголовки). CSS и JavaScript файлы минимизируем и сжимаем (gzip).
Для уменьшения количества HTTP запросов с браузера, все JavaScript и CSS файлы объединяются в один. Маленькие графические изображения объединяются в спрайты.
При загрузке страницы скачиваются только те ресурсы, которые на самом деле необходимы для начала работы.
Никаких универсальных CSS селекторов. Стараемся не использовать типовые селекторы (по имени тэга).
Если необходимы CSS expressions, то пишем «одноразовые». По возможности избегаем фильтров.
Кешируем обращения к DOM дереву, а так же свойства элементов, приводящие к reflow. Обновляем DOM дерево в «оффлайне».
В GWT используем UIBinder и HTMLPanel для создания интерфейсов.

Полезного чтения! Будем рады вопросам.

Приветствуем всех, кто любит проводить свое время в социальных сетях! Портал сайт предлагает вашему вниманию очередную полезную публикацию. На этот раз расскажем, как самому сделать прокси-сервер вконтакте или одноклассниках. Точнее сказать, никакого прокси сервера не будет. Мы хотим избавить Вас от использования платных сервисов, которые предлагают войти через прокси за деньги. Зачем платить, если это можно всё сделать бесплатно?

Мы уже затрагивали эту тему, в статье . Поскольку прокси вконтакте и прокси одноклассники, бесплатно ищут многие, то имеет смысл рассказать про эту тему подробнее. Для чего может понадобиться зайти через прокси в Одноклассники, в Контакт или даже Фейсбук? Все просто, доступ к этим социальным сетям могут заблокировать на работе, или вирус-вымогатель требует деньги. Мы уже рассказывали , и это лучше чем заходить в контакт или одноклассники через прокси, имея на компьютере вирус. Но вернемся к нашей теме и узнаем, как самому зайти через бесплатный прокси сервер вконтакте и в одноклассники.

Способ первый — прокси сайт

Существует море специальных прокси-сайтов, которые предоставляют доступ через прокси-серверы. Если Вам заблокировали доступ по IP и Вы не можете зайти в Контакт или Одноклассники, попробуйте воспользоваться следующими сайтами. Все они бесплатны. Это так называемые анонимайзеры, с помощью которых можно зайти на любой сайт через прокси. Естественно, не исключение в контакте и одноклассники.

Вот три неплохих зарубежных анонимайзера, позволяют зайти на любой сайт, не только одноклассники и вконтакте:

• kproxy.com
• anonymouse.org/anonwww.html
• hidemyass.com

А это российские анонимайзеры, которые также могут помочь в доступе к соцсети:

• cameleo.ru
• daidostup.ru
• hideme.ru

В принципе, этого более чем достаточно, чтобы войти в Контакт или Одноклассники через другой IP адрес. Кстати, в некоторых компаниях доступ к русским анонимайзерам закрывают, поэтому мы опубликовали и зарубежные прокси сайты. Плюсы анонимайзеров в том, что можно быстро попасть на заблокированный сайт. Минус — ваши данные могут быть перехвачены. То есть если подобный сервис предоставляет злоумышленник, ваш логин и пароль от одноклассников или контакта могут украсть.

Все эти сайты может заменить анонимный браузер TOR — https://www.torproject.org/ . Это анонимайзер, который можно использовать для проверки работы сайтов, если доступ к ним по каким-то причинам отсутствует. Желательно не вводить в ТОР пароли и логины, а использовать просто, как браузер, поскольку он не полностью безопасен.

Способ второй — список прокси серверов

Это также небезопасный способ, но здесь Вы хотя бы не путешествуете по интернет через чужой сайт. Заключается метод в настройке браузера, точнее указания IP и порта прокси-сервера в настройках браузера. Чтобы указать прокси в вашем браузере, нужно сначала его найти. Хороших бесплатных прокси серверов мало, можно сказать вообще нет. Но чтобы зайти в Контакт или Одноклассники, хватить и обычного прокси сервера. Найти список прокси серверов можно по следующим адресам:

• hideme.ru/proxy-list/
• www.freeproxylists.net/ru/

После того, как выберите себе прокси, нужно указать его в браузере. Для этого нужно найти настройки прокси. Показываем на примере браузера Firefox. Заходим в «Инструменты» — «Настройки» .

Переходим на вкладку «Дополнительные» . В других браузерах конечно структура другая, но смысл тот же. Нужно просто найти вкладку, где настраивается прокси.

Находим закладочку «Сеть» и нажимаем кнопку «Настроить» .

После этого, остается только настроить прокси, вписав IP и порт. На картинке все видно.

Вот и всё . Теперь Вы знаете, как зайти через прокси сервер в контакте или в одноклассники. Заходите почаще на сайт !

Зловредные админы закрыли доступ в социальные сети, и теперь нет возможности общаться с друзьями? Неприятно, но выход всегда есть. Даже самый серьезный работник должен когда-нибудь перевести дух и немного отдохнуть:smile:. Если заблокировали Одноклассники, то нет ничего лучше, чем вход через анонимайзер или прокси-сервер.

Для эффективного использования не нужно специализированных знаний, не требуется изменять настройки локальной сети, а злостные системные администраторы даже не догадаются, что у людей, не разбирающихся в компьютерных программах, получилось их обойти:smile:. А чтобы даже друзья не заметили Вашего присутствия онлайн советую .

Принцип действия анонимайзеров прост до безобразия: а именно они скрывают ip-адреса. Достаточно перейти на прокси-сервер для Одноклассников, войти через логин и пароль в свой аккаунт социальной сети и наслаждаться долгожданным общением с друзьями и знакомыми, узнаете . Максимум, что смогут увидеть сотрудники технического отдела это адрес сайта-анонимайзера, а начальник будет еще больше доволен:smile:, ведь вы с деловым видом перерабатываете и сидите на каком-то сайте.

Разумеется, админы не дураки и следят за рабочей ситуацией. Если все-таки proxy server будет замечен и занесен в черный список, то долго расстраиваться не стоит, ведь существуют еще много отличных бесплатных проектов.

Список бесплатных анонимайзеров или как сидеть на работе в Одноклассниках?

Существует множество универсальных прокси-серверов, где нужно немного подумать. Для предотвращения перенапряжения мозга рассмотрим только специализированные, предназначенные специально для определенных сайтов или социальных сетей. Для входа в профиль всего лишь требуется ввести логин и пароль.

1. cameleo.ru (Хамелеон) – один из самых популярных универсальных анонимайзеров без СМС для сайтов Вконтакте, Одноклассники, Мамба. Прекрасно ведет себя при срытии деятельности пользователя в сети интернет.
2. daidostup.ru – еще один замечательный бесплатный proxy server для самых топовых социальных сетей.
3. unlumen.ru – сервис позволит войти на odnoklassniki, vk, facebook, youtube. Плюс имеется список бесплатных универсальных анонимайзеров.
4. webmurk.ru – анонимайзер для входа в Одноклассники.
5. diazoom.ru – создан для удобного общения в любимой соцсети.
6. od.runovosti.info – хороший бесплатный прокси-сервер для Одноклассников.
7. od.yourdaynews.biz – специализированный сервис под odnoklassniki.ru.
8. o.antiblock.ru – разрешает доступ без СМС.
9. Список для входа в Одноклассники бесплатно через анонимайзеры, предоставленные сервисом dostupest.ru:

Здравствуйте, друзья! Решил поумничать и поработать с Одноклассниками через proxy (прокси) . Да, да, вы не ослышались. Набрался смелости и купил себе 20 штук для инвайта у одного участника небезызвестного всем форума по ОД . В скайпе этого человека зовут proxyseller.ru (что впрочем сразу же говорит о наличии у него сайта). Я долго не копался, а просто стукнул к нему и сделал заказал. Вечером уже инвайтил через proxy, чувствуя себя «настоящим сварщиком».

Познакомившись с Владом ближе, попросил написать его пост для Машконого Журнала и рассказать поподробнее что такое proxy и как их использовать новичку . Он согласился. Передаю ему слово:

«Продвижение групп в Одноклассниках через прокси является одним из самых эффективных способов быстрой раскрутки сообщества. В первую очередь необходимо определиться с терминами.

Прокси — это посредник компьютера. К нему отправляются какие-либо запросы, он их обрабатывает и высылает ответ.

IP — это адрес компьютера в интернете. Большинство проблем с прокси связанны именно с Ip. Одноклассники через прокси посещают для различных накруток, при использовании спамилок, инвайтеров и других программ, работающих с сайтом. При применении программ для раскруток можно обойтись и без прокси. В этом случае работа запускается в 1 поток, а паузы устанавливаются подольше. Данная тактика позволяет уберечь аккаунт от бана и других возможных неприятностей.

Основные виды прокси

✔ HTTP прокси является самым распространённым. Данный вид прокси использует http протокол. HTTP прокси бывают:
Сверханонимные, которые скрывают не только ip, но и применение самого прокси.
Анонимные — скрывают ip, но при этом сообщают о применение анонимного прокси сервера.
Не анонимные — не скрывают ip. Они служат только для ускорения интернета.

✔ SOCKS прокси работают с любой передаваемой информацией. SOCKS прокси являются сверханонимными, они скрывают сервер и реальный ip. Существует 2 вида «Соксов»:
SOCKS 5 — функционируют с протоколом TCP/IP, удалённым DNS-запросом, авторизацией и UDP.
SOCKS 4 — функционируют исключительно с протоколом TCP/IP.

При использовании прокси Одноклассники могут выявить следующие проблемы

Самая распространённая проблема — ошибка авторизации аккаунта. Сайт может запросить ввод капчи, подтверждения номера телефона или угадывание друзей. Заморозка и блокировка аккаунта или некоторых действий. В большинстве случаев проблемы решаются, если убрать прокси .

Почему банят аккаунты одноклассники через прокси?

Прокси покупаете не только вы, но и тысячи других людей, желающих продвинуть свою группу. И все они что рассылают, накручивают, их аккаунты банят и ip банятся или заносятся в спам базу. Сайт видит, что на 1 ip ежедневно авторизируются тысячи аккаунтов — приглашают в группу, добавляют друзей, отправляют сообщения. Если много аккаунтов подключаются к 1 прокси, то прокси, передавая все их запросы, вместе с аккаунтами попадает под подозрение.

Как выполнить продвижение групп в Одноклассниках через прокси и не попасть в бан?

1. Не бывает дешёвых хороших прокси.
2. Приватные прокси — являются самыми лучшим и качественными. Они продаются в одни руки и ими никто кроме вас не пользуется.
3. Дорогие прокси. Их единственный недостаток высокая стоимость, но если вы не хотите попасть в бан, то данный вид прокси это именно то, что нужно для безопасной прокси одноклассники раскрутки.

Как уберечь свои аккаунты от блокировки

1. После приобретения проверяйте прокси в спам базах. Не используйте прокси, находящиеся в них, если, конечно, вам дороги ваши аккаунты.
2. Если аккаунтов мало, то лучше всего работать в один поток и все действия необходимо выполнять по очереди. Кроме того, нужно выдерживать продолжительные паузы.
3. Если у вас много аккаунтов, то не рискуйте, и при продвижение групп в Одноклассниках используйте индивидуальные прокси .
4. Менять прокси каждый день не нужно.

Proxy-seller – гарант безопасности и качественного продвижения групп в Одноклассниках

Мы продаём приватные прокси исключительно в одни руки, что обеспечивает абсолютную безопасность и исключает бан ваших аккаунтов. В нашей онлайн базе содержится огромное количество проверенных и рабочих прокси. Все прокси перед продажей тщательно проверяются в режиме реального времяни по множеству параметров: скорость соединения, пинг, степень и тип анонимности, страна). Закажите у нас необходимое количество прокси серверов нужного типа и обеспечьте себе качественное и безопасное продвижение групп в Одноклассниках».

Все вопросы Владу можно задать через эту форму, с указанием в теме слова PROXY .