Я укажу группы для сбора данных, и мне нужны и результаты, и сам скрейпер, который сможет обновлять базу данных результатов и предоставлять следующее:
всю информацию из биографий пользователей
все комментарии каждого пользователя с указанием времени и даты
все лайки каждого пользователя с указанием времени и даты
Я хочу иметь возможность импортировать данные в Obsidian и визуально видеть все даты, чтобы можно было анализировать по группам, пользователям, а также какие комментарии пользователь оставлял и какие посты/комментарии он лайкал.
Результат должен позволять выявлять коллаборацию между аккаунтами или ботоподобную активность, а также анализировать поведение отдельных аккаунтов. Мне нужны идеи от тебя, как можно выявлять бот-аккаунты и фейковые аккаунты, созданные с помощью ИИ, после завершения скрейпинга.
Мне также нужно предложение (proposal) о том, как ты планируешь реализовать это решение и как ты будешь избегать бана пользовательских аккаунтов и/или IP-адресов со стороны Skool.
При построении скрейпера и/или рабочего процесса предпочтительны инструменты: n8n, crawl4ai, Python, Obsidian, Markdown. Рабочий процесс должен автоматически обновляться ежедневно и быть стабильным.
