Mining Massive Datasets

Закінчився курс Mining Massive Datasets. Він був тяжчим, ніж зазвичай курси від Coursera. Якщо вам потрібно застосовувати data mining техніки на великих даних - це саме те, що ви шукали. До того ж тут можна завантажити безкоштовну книгу.

Трохи статистики по сертифікатах:  2454 сертифікати про закінчення, з них 936 "з відзнакою".

Курси від Coursera цієї осені

Тим, хто цікавиться data science

• рекомендую:
• Algorithmic thinking - 8 тижнів, 7-10 годин на тиждень,  почався 25 серпня
• дуже рекомендую:
• Mining massive datasets - 7 тижнів, 8-10 годин на тиждень, старт 29 вересня
• Process mining: Data science in action - 6 тижнів, 4-6 годин на тиждень, старт 12 листопада

Practical Machine Learning та Developing Data Products.

Я вже писала, що Coursera має спеціалізацію Data Science. В рамках цієї спеціалізації пропонується 9 курсів + фінальний проект. Оскільки почакові курси багато в чому дублюють Computing for Data Analysis та Data Analysis, як і я вже проходила то проходила два фінальні - Practical Machine Learning та Developing Data Products.
Всі курси спеціалізації мають ще багато відкритих сесій до кінця року. Термін проходження одного курсу - 4 тижні.

Короткий огляд:
Practical Machine Learning - основний акцент на процесі побудови ML моделей. Бібліотека caret для полегшення рутинних процесів - поділ на тренувальний, перевірочний та тестовий набори, тренування моделі, оцінка моделі. В рамках курсу потрібно було побудувати модель для розпізнавання активності людини (http://groupware.les.inf.puc-rio.br/har).
Обов'язкова умова - результати дослідження у вигляді звіту (з використанням knitr для автоматичної побудови звіту з коду) на GitHub. Окрім того, результат має бути відтворюваним.

Developing Data Products  - як зробити прототип продукту та презентувати його.
Теми:

• побудова R графіків з використанням java-script бібліотек
• Shiny - створення веб-додатків на R та варіанти розміщення цих додатків
• Slidify - бібліотека для створення презентацій на R. Окрім стандартних елементів презентацій можна додати інтерактивні запитання (напр. для самотестування) та java-script графіки.
• Yhat - має досить широку функціональність (більше на сайті), в рамках курсу розглянуто можливість розгорнути предиктивну модель та отримати REST API для комунікації з додатком (послати дані для входу та отримати результат) через json. 

Практичне завдання - розробити веб-додаток в Shiny, розгорнути його та підготувати презентацію цього додатку в Slidify.

Мій додаток:
https://energyfirefox.shinyapps.io/DataProducts/

І сертифікати:

Introduction to Data Science повертається.

З 30 червня буде повтор курсу Introduction to Data Science на Coursera. Вже можна переглянути лекції. Не пропустіть :)
Враження від попередньої сесії:

Як вивчити R? Мій досвід.

R - мова програмування і середовище для аналізу, статистичної обробки та візуалізації даних, якою  я зацікавилась приблизно 3 роки тому. На той час мене цікавило питання прогнозування кількості дзвінків у call-центр. R обрала з таких міркувань:

• є бібліотеки для роботи з часовими рядами
• широкі можливості для візуалізації
• безкоштовна
• працює під Linux

Яким би прикладним питанням статистики чи аналізу даних ви не займались, є дуже висока ймовірність, що існує R бібліотека, яка значно полегшить вам роботу.

Для прикладу:

• machine learning - e1071, randomForest, повний список тут
• прогнозування часових рядів - zoo, forecast
• інтерактивний дешборд  - shiny, rHighcharts, ggplot2
• візуалізація даних - ggplot2, lattice
• трансформація даних - reshape2, plyr
• дослідження текстів (text mining) - tm
• отримання даних з Twitter - twitteR
• пошук оптимального інвестиційного портфеля - fPotfolio

Повний список доступних бібліотек можна переглянути тут.
Основний недолік R - всі дані зберігаються  в оперативній пам'яті, тому обробка великих об'ємів даних  дуже обмежена. Хоча зараз з'явилась підтримка паралельних обчислень та можливість зберігати частину даних на диску. Детальніше про це можна прочитати в книзі Parallel R.

З чого почати вивчення?

Перш за все, підівчити англійську мову принаймі до рівня розуміння текстів, оскільки документація і більшість книг англійською. 

Російськомовних ресурсів не так вже й багато:

Книга: http://www.ozon.ru/context/detail/id/7952180/

Статті:

• http://www.ibm.com/developerworks/ru/library/l-r1/index.html
• http://herba.msu.ru/shipunov/software/r/rplus1.htm
• http://www.inp.nsk.su/~baldin/DataAnalysis/

Статті на Habrahabr http://habrahabr.ru/hub/r/

Блоги:

• http://r-analytics.blogspot.com
• http://chetvericov.ru/tag/r/
• http://donbas-socproject.blogspot.com

Група у Вконтакті: http://vk.com/club8142131

Якщо рівень англійської дозволяє читати книги й дивитись відео, вивчати R значно простіше і цікавіше. Почати можна з уроків від Code School: http://tryr.codeschool.com/ або серії відео від Google Developers .  Курси від Coursera не лише дозволять вивчити R, але й застосовувати для можливості цієї мови для вирішення проблем аналізу в різних сферах:

• Statistics One - курс зі статистики, починається 22 вересня 2013.
• Computing for Data Analysis - застосування R для обробки та візуалізації даних, починається 23 вересня 2013.
• Data Analysis - методи аналізу даних, починається 28 жовтня 2013.
• Introduction to Computational Finance and Financial Econometrics - вступ до фінансової економетрики та обчислювальних фінансів, починається 28 серпня 2013.

Ресурс http://www.r-bloggers.com/ - агрегатор блогів з R різними мовами, при бажанні можна додати свій.

Книг є величезна кількість, почати можна з серії UseR! від Springer і Beginner's Guide to R зокрема.

Безкоштовна IDE RStudio полегшить розробку та супровід програм.

Також можна підписатись на RSS-потік питань на StackOverflow  та CrossValidated і вчитись через допомогу іншим.

Рекомендаційні системи.

Серед величезної кількості інформації, що нас оточує дедалі тяжче щось вибрати: книгу, фільм, техніку ...  Сервіси, які пропонують користувачам продукти, які їм можуть сподобатись набирають все більшого поширення: amazon, netflix, imhonet.
3 вересня стартує курс "Introduction to Recommender System" на Coursera від університету Міннесоти. Триватиме він аж 14 тижнів. В програмі курсу заанонсовано як написання власної рекомендаційної системи за різними алгоритмами на Java, так і загальні концепції побудови.
На думку авторів, гарно доповнить цей курс книга "Recommender Systems: An Introduction".
Від себе додам, що також гарно описує загальні питання розробки рекомендаційних систем "Recommender System Handbook ".

Спробуйте R від Сode school.

R - чудовий інструмент для аналізу та візуалізації даних. Якщо ви хотіли спробувати працювати з R, але не знаєте, з чого почати, то курс від Try R від Сode school те, що треба.

Це короткий (можна пройти за пару годин) та безкоштовний курс, який дає уявлення про базові можливості R. Хороший баланс стислості та інформативності. 

Теми, які висвітлюються:

• базовий синтакс
• вектори
• матриці
• описова статистика
• фактори(категоріальні змінні)
• датафрейми (кадри даних)
• кореляція, лінійні моделі

Після проходження цього курсу ви зможете аналізувати набори числових даних та будувати базові графіки.

Курс Machine Learning від Coursera

На початку листопада закінчився курс Machine Learning (Машинне навчання). 

Andrew Ng (один із засновників Coursera) - фантастичний лектор. Він просто і доступно пояснює математичний апарат, необхідний для розробки алгоритмів. Також в межах курсу надзвичайно багато порад по оптимізації алгоритмів та їх реалізації.

Курс триває 10 тижнів та охоплює такі питання:

• Лінійна регресія
• Логістична регресія
• Нейронні мережі
• Метод опорних векторів
• Кластеризація
• Зменшення розмірності (Метод головних компонент)
• Виявлення аномалій
• Рекомендаційні системи

Щотижня потрібно здавати тести по матеріалу, а також виконувати практичні завдання на Octave.  Кінцевий результат приводиться до стобальної шкали,  де теоретичний матеріал  складає 1/3 ,  а практичний 2/3.

Octave виявився дуже хорошим інструментом для розробки прототипів.  Сам курс надзвичайно підлаштований під схему онлайн-навчання і дозволяє саме здобувати нові знання, а не перевіряти вже існуючі.

По завершенню курсу тим, хто набрав 80 і більше балів надсилають такий симпатичний сертифікат, підписаний лектором:

Також, Coursera запускає сервіс пошуку роботи. Наразі він працює лише для вакансій Software Engineer, але далі планують розширити і для інших спеціальностей.

Недоліки курсу: Немає
Особиста оцінка: 10 з 10.

Model Thinking: Моделі прийняття рішень.

Як зробити правильний вибір? Скільки коштує інформація?
Моделі прийняття рішень дають можливість приймати кращі рішення та зрозуміти, як приймають рішення інші. Цей клас моделей можна розділити на три групи: багатокритеріальні, просторові та дерева прийняття рішень.

Model thinking: Моделі агрегації

Агрегація - об'єднання елементів у єдину систему. Зазвичай, результат об'єднання набуває властивостей, якими не володіють компоненти.

Скот Пейдж розповідає про агрегацію дій, правил, сімейств правил та вподобань. Застосування цих простих моделей може дати відповідь на такі питання: "Чому на літак, де є 380 посадкових місць варто продати 400 квитків?", "Як можна маніпулювати на виборах?"

Освіта в Stanford University. Model Thinking

Восени 2011 розпочато проект безкоштовних онлайн-курсів від Stanford University. Перші три курси: Machine learning, Artificial intelligence, Introduction to Database. Наразі перелік курсів суттєво розширився https://www.coursera.org/landing/hub.php. До ініціативи приєдналися University of Michigan та University of California, Berkeley.  Проект зараз має назву Coursera.

Я записалась на Model Thinking клас.  

Коротко про курс:

Лектор Scott E Page.  

Навчання англійською мовою.
Тривалість 10 тижнів.

Структура:  відеолекції тривалістю  8-15 хвилин (одна тема 5-8 лекцій, 2 теми на тиждень) та матеріал для читання.  Раз на 2 тижні перевірочні тести (судячи з першого, для успішної здачі достатньо лише лекцій).  Тим, хто успішно здасть екзамен в кінці курсу та перевірочні тести протягом навчання, буде видано сертифікат про завершення курсу. 

Також можна вести обговорення цікавих тем на форумі курсу (наприклад, моделі в реальному житті).

В блозі буду публікувати нотатки/конспекти/зауваження по курсу.

Теми лекцій:
Моделі розподілу (Segregation and Peer effects)
Моделі агрегації (Aggregation)
Моделі прийняття рішень (Desicion Models)
Thinking Electrons: Modeling People
Categorical and Linear Models
Tipping Points
Economic Growth
Diversity and Innovation
Markov Processes
Lyapunov Functions
Coordination and Culture
Path Dependence
Networks
Randomness and Random Walks
Colonel Blotto
Prisoners' Dilemma and Collective Action
Mechanism   Design
Learning Models: Replicator Dynamics
Prediction and The Many Model Thinker