Ad
Содержание
Что такое пет-проекты и зачем они нужны?
Пет-проект (от англ. pet project) — это небольшой, обычно некоммерческий проект, который человек разрабатывает для себя, чтобы попрактиковаться или изучить что-то новое. С помощью проекта анализа данных специалисты по Data Science могут развивать навыки, набивать руку и, что немаловажно, демонстрировать свои умения потенциальным работодателям.
Пет-проекты помогают:
- Практиковаться и приобретать опыт. В Data Science теория важна, но без практики сложно освоить инструменты и методы анализа данных. Пет-проект дает возможность поработать с реальными данными и задачами.
- Научиться работать с реальными данными. Реальные данные часто бывают грязными, неполными и неструктурированными. Их очистка и подготовка — одна из основных задач аналитика, и пет-проекты помогают отточить эти навыки.
- Развивать критическое мышление. Важно не только обрабатывать данные, но и понимать, как их интерпретировать, какие выводы можно из них сделать, как избежать ошибок или недочетов в анализе данных. Выполнив весь проект с нуля, можно научиться системно подходить к решению проблем.
- Упростить трудоустройство. Если в портфолио у новичка есть реальные проекты, его шансы на трудоустройство сильно возрастают. Пет-проект — отличная возможность показать, что вы умеете обрабатывать данные и решать реальные задачи.
- Освоить инструменты и технологии. Работая над личным проектом, можно научиться использовать разные инструменты и технологии. Это могут быть Python, R, SQL, библиотеки машинного обучения (scikit-learn, TensorFlow или PyTorch) и библиотеки для визуализации данных (Matplotlib, Seaborn или Plotly).
- Развиваться и раскрывать свой творческий потенциал. В пет-проекте можно реализовать интересные идеи или решить задачи, связанные с личными увлечениями. Например, можно проанализировать отзывы о любимом фильме или предсказать результаты чемпионата по футболу.
Так, если нужно проанализировать цены на жилье в своем районе, потребуется выполнить следующие задачи:
- собрать данные (извлечь с сайта объявлений о продаже недвижимости);
- очистить данные (удалить дубликаты, заполнить пропуски, преобразовать в удобный формат);
- проанализировать данные (выяснить, каким образом на стоимость влияют такие факторы, как площадь квартиры, расположение дома и его возраст);
- провести моделирование (создать модель машинного обучения, которая будет прогнозировать стоимость жилья на основе выбранных факторов);
- визуализировать выводы (создать графики и таблицы, чтобы наглядно представить результаты анализа данных).
Пройдя все этапы создания проекта самостоятельно, можно приобрести ценные навыки и пополнить портфолио, показав потенциальным работодателям свою инициативность, умение решать реальные задачи и работать с новыми технологиями.
Как выбирать тему пет-проекта и где взять данные?
Проект по Data Science начинается с выбора темы и поиска данных. При выборе темы для пет-проекта можно отталкиваться от разных факторов.
- Личные увлечения. Лучше всего выбирать тему, которая будет вам интересна — это позволит не только попрактиковаться, но и получить удовольствие от процесса. Например, можно проанализировать музыкальные предпочтения пользователей «Яндекс Музыки» или спрогнозировать успех фильма.
- Тренды. Иногда стоит взять тему, которая связана с актуальными событиями. Это может быть анализ стоимости криптовалют или прогноз результатов спортивных соревнований.
- Проблемы и потребности общества. Еще один вариант — проект, который решает какую-то проблему или улучшает ситуацию в определенной области. Например, приложение с рецептами полезных блюд или сервис для оптимизация движения транспорта в городе.
- Уровень сложности. Если вы новичок в Data Science, лучше выбрать тему попроще и переходить к более сложным, только когда у вас будет достаточно опыта.
Итак, вы выбрали тему. А где найти данные для анализа? Есть несколько источников:
- Открытые наборы данных. Есть много ресурсов с готовыми датасетами для анализа. Среди них — Kaggle, UCI Machine Learning Repository и Google Dataset Search.
- Сайты для сбора данных. Данные можно собрать самостоятельно — в этом помогут специальные сайты для парсинга или API. Среди них — библиотека для парсинга HTML-страниц BeautifulSoup и API соцсетей, таких как «ВКонтакте» и Telegram.
- Сбор своих данных. Например, можно отслеживать свои привычки или повседневную активность с помощью фитнес-трекеров, а затем анализировать эти данные.
- Визуальные данные. В пет-проекте также можно использовать изображения и видео. Для этого подойдут датасеты вроде COCO и Open Images. Один из вариантов — создать приложение, которое с помощью компьютерного зрения классифицирует объекты на фото.
Далее рассмотрим семь примеров пет-проектов.
По теме:
Pet-проект: что это и зачем нужен, как разработать пет-проект
Из джуна в мидлы: как начинающим специалистам вырасти в грейде за короткий срок
Идеи для проектов по Data Science и анализу данных
Симуляции с помощью Python
Такой формат проекта помогает развивать навыки в программировании и науке о данных. С симуляциями также интересно экспериментировать. Моделировать можно разные сценарии и факторы — для многих потребуется не более двухсот строк кода.
Примеры: можно смоделировать влияние экономических изменений на рынок акций. Другой вариант — моделирование поведения толпы в условиях эвакуации (симуляции такого рода помогают оптимизировать процесс эвакуации в зданиях с большим количеством людей).
Сложность: от простейшей до невероятно сложной.
С помощью этого проекта можно научиться:
- Применять объектно-ориентированное программирование.
- Симулировать случайности на Python.
- Моделировать реальные сценарии.
Анализ продаж в ритейле
Современному бизнесу не обойтись без Data Science. Так, прогноз количества продаж помогает понять, сколько продукции нужно закупить или произвести. Это очень важно, ведь если товаров будет слишком много, они останутся лежать на полках, а если слишком мало — бизнес потеряет деньги.
Пример: с помощью моделей ARIMA можно спрогнозировать продажи определенного продукта в зависимости от времени года или календарных событий (например, Нового года).
Сложность: средняя.
С помощью этого проекта можно научиться:
- Выполнять прогнозное моделирование и прогноз временного ряда.
- Понимать бизнес-статистику.
- Работать с регрессией, моделями типа ARIMA и методом случайного леса.
- Анализировать сезонные тренды и выявлять аномалии в данных.
Рекомендательный алгоритм
Социальные сети и агрегаторы контента используют сложные и постоянно развивающиеся системы рекомендаций — именно поэтому порой так сложно перестать листать ленту. Чтобы разобраться в работе рекомендательных алгоритмов, можно создать собственный — это еще один вариант пет-проекта по анализу данных.
Пример: вы можете создать систему рекомендаций фильмов или песен, которая позволяет фильтровать контент по жанрам и предпочтениям других пользователей.
Сложность: средне-продвинутая.
Благодаря этому проекту можно научиться:
- Создавать рекомендательные системы.
- Выполнять сингулярное разложение и разложение матрицы.
- Работать с алгоритмами коллаборативной фильтрации (например, с матричной факторизацией) для предсказания предпочтений пользователей.
Веб-скрейпинг отзывов покупателей
Эти данные очень полезны для бизнеса: они помогают определить отношение потребителей к бренду и понять, какие аспекты стоит улучшить. Для проекта подойдет любой сайт, на котором представлены отзывы покупателей.
Сложность: легкая.
С помощью этого проекта можно научиться:
- Собирать данные с сайтов.
- Анализировать отзывы покупателей.
- Применять технологию обработки естественного языка для получения полезной информации.
По теме:
20 успешных стартапов, которые начинали как сторонние проекты
Анализ клиентов и построение риск-моделей в банкинге
Сегментация клиентов
Вернемся к аналитике в розничной торговле. Теперь задача проекта по анализу данных состоит в том, разделить покупателей на группы с помощью статистики и определить целевую аудиторию для бизнеса. Делить клиентов на группы можно по таким критериям, как возраст, место проживания, уровень дохода.
Пример: с помощью иерархической кластеризации можно определить группы клиентов с похожими предпочтениями по категориям товаров. На основе этих данных можно создать рекомендации и персонализированные предложения.
Сложность: средне-продвинутая.
С помощью такого проекта можно научиться:
- Применять методы кластеризации.
- Выполнять снижение размерности.
- Использовать метрики для оценки качества кластеризации, например силуэтный коэффициент.
- Обрабатывать различные типы данных (категориальные, числовые).
- Визуализировать поведение клиентов, к примеру, с помощью графиков плотности распределения и тепловых карт.
Инструмент для сравнения резюме и описаний вакансий
С его помощью можно определить, насколько близко резюме подходит к описанию вакансии. Чтобы его создать, можно воспользоваться техниками обработки естественного языка, например латентно-семантическим анализом.
Благодаря этому проекту можно научиться:
- Использовать такие методы обработки естественного языка, как латентно-семантический анализ и косинусное сходство.
- Применять линейную алгебру и сингулярное разложение.
- Разрабатывать и оптимизировать алгоритмы машинного обучения, такие как классификация и кластеризация текста.
A/B-тестирование показателей кликабельности
A/B-тестирование — одна из самых полезных для бизнеса концепций в науке о данных. Такой проект поможет не только освоить методологию A/B-тестирования, но и научит работать с данными в маркетинге, где важно не только правильно собрать информацию, но и умело ее интерпретировать.
Пример: можно провести исследование того, какой из двух баннеров с разным дизайном привлечет больше кликов. У баннеров могут быть разные заголовки и разное оформление для кнопки «Купить». Определение показателя кликабельности (CTR, click-through rate) помогает оптимизировать онлайн-рекламу — от ее внешнего вида до общего посыла.
Сложность: средняя.
С помощью такого проекта можно научиться:
- Проводить исследовательский анализ данных.
- Выполнять правильное A/B-тестирование для CTR.
- Понимать и анализировать статистическую значимость результатов.
- Оценивать влияние факторов, не связанных с качеством рекламы, таких как сезонность.
- Интерпретировать результаты с учетом типичных ошибок, таких как ложные положительные результаты и предвзятость данных.
Фото на обложке: Photo_Concepts / Getty Images
Ad
SomaDerm, SomaDerm CBD, SomaDerm AWE (by New U Life).