Energy Blog

Часові ряди в R. Прогнозування декомпозицією

2012-01-27T19:41:00.000+02:00

Часовий ряд - набір значень певної змінної через задані проміжки часу. Прикладом може бути температура повітря протягом дня. Тут є можливість ознайомитись з числовими рядами в різних сферах. Аналіз часових рядів дозволяє робити припущення про наступні значення змінної у майбутньому. Точність цього прогнозу залежить від характеру ряду та методу аналізу, який застосовується.

R надає потужні інструменти для дослідження часових рядів. Спробуємо сьогодні проаналізувати ряд з такими характеристиками:

Змінна величина: кількість клієнтів, які чекають на обслуговування.

Часовий інтервал: 5 хв.

Вхідні дані у форматі .csv


 # зчитуємо дані та приводимо час у формат POSIXlt:
 cl_queue <- read.csv("~/Projects/queue/data/queue.csv")
 cl_queue$Time <- as.POSIXlt(queue$ts)

 # перетворємо в ЧР, інтервал 5 хв (за добу 288 спостережень)
 cl_queue.ts <- ts(cl_queue$Clients, freq = 288)# побудуємо графік даного ряду
 plot(cl_queue.ts, ylab = 'Клієнти', xlab = 'Дні')

Загальну модель ряду можна представити як x = m + s + z , де m - тренд, s - сезонність, z - похибка. R дозволяє легко розкласти ряд на ці компоненти.Для цього можна використати функції decompose() та stl().decompose() використовує для розкладу ковзаючі середні, a stl() згладжування loess. Розкладемо ряд та порівняємо результати. В якості прогнозу наступних значень спробуємо використати функцію x = m + s. Сезонність у нашому випадку - добовість.

Отже, decompose():

 
dec.cl_queue <- decompose(cl_queue.ts)
cl_queue_trend <- dec.cl_queue$trend # виділяємо тренд
cl_queue_seasonal <- dec.cl_queue$seasonal # виділяємо сезонність
plot(dec.cl_queue)

З графіка видно, що випадкова складова має дуже великий вплив. Побудуємо графік нашої моделі для прогнозування x = m + s.

 
plot(cl_queue.trend+cl_queue.seasonal, main = "Прогноз для ряду", ylab = "Клієнтів")

Тепер відобразимо на одному графіку вихідний ряд та модель прогнозу:

ts.plot(cbind(cl_queue.ts, cl_queue.trend+cl_queue.seasonal), col = c("red", "black"),  main = "Ряд та прогноз")

Аналогічно для stl():


# розклад на компоненти
stl_cl_queue <- stl(queue.ts, "per") 
plot(stl_cl_queue)


# будуємо прогноз
pstl_cl_queue <- stl_cl_queue$time.series
pred = (pstl_cl_queue[ ,1] + pstl_cl_queue[ ,2])
plot(pred, main = "Прогноз", ylab = "Клієнтів")


# будуємо графік вихідного ряду та прогноз
pstl_cl_queue <- stl_cl_queue$time.series
pred = (pstl_cl_queue[ ,1] + pstl_cl_queue[ ,2])
plot(pred, main = "Прогноз", ylab = "Клієнтів")


# розміщуємо обидві прогнозні моделі на одному графіку
ts.plot(cbind(cl_queue.trend+cl_queue.seasonal, pred), col = c("red", "black"))
plot(cbind(cl_queue.trend+cl_queue.seasonal, pred))

На основі отриманих даних можна зробити висновки:

в даних є яскраво виражена добова залежність;
при декомпозиції обома функціями для моделі прогнозу x = m + s отримали однакові дані;
обрана модель для прогнозування нашого ряду є неточною, оскільки в даних наявний значний шум, крім того, тренд є нелінійним;

Можливі варіанти покращення точності прогнозу:

очищення даних (відкинути 1 та 4 квартиль)
застосувати іншу модель для прогнозу
побудувати прогноз для максимального значення кількості клієнтів, які очікують в кожній годині

Baby analytics. Як зрозуміти немовля?

2012-01-22T17:55:00.000+02:00

Батьків немовляти турбує багато питань :

Чому плаче дитина?
Чи не пора замінити підгузник?
Може голодна?
Скільки часу спить?
Як часто їсть?
Скільки часу їсть?
Скільки часу пройшло від останнього годування?
Можливо варто розбудити вдень, щоб вся сім'я могла добре виспатись вночі?
Чому погано набирає вагу?

Запис щоденної активності полегшує життя батькам, оскільки дозволяє краще зрозуміти поведінку дитини, її добові ритми та потреби. Вести такі записи можна вручну та за допомогою різноманітних сервісів.

Для мене найбільш зручним виявився Trixie Tracker. Тут можна не лише проводити збір даних, а й аналізувати їх. Всі внесені дані відображаються у вигляді зручних для сприйняття діаграм. Веб-сервіс оптимізований для відображення на мобільних пристроях, тому дані досить зручно вносити зі смартфона.

Trixie Tracker дозволяє відслідковувати:

режим сну
годування
заміну підгузників
годування твердою їжею
зціджування молока та його зберігання
прийом ліків

Останні дані та основна статистика по них подаються у вигляді зручного дешборда (категорії відображення налаштовуються)

Для трекеру сну можна переглянути інформацію за поточну або попередню добу у вигляді таблиці:

За останні 30 днів або за конкретній місяць у вигляді діагарами:

Цікавою є діаграма ймовірності сну в певний час доби (вираховується за останні 30 днів або для конкретного місяця, також є можливість переглянути для інших дітей аналогічного віку)

На цій діаграмі чим темнішою сектор, тим частіше дитина в цей час спить.

Фанати статистики для визначення залежності між тривалістю періоду сну/неспання та його початком можуть використати діаграми розсіювання:

Решта категорій хоча й відрізняються меншою різноманітністю варіантів, але дозволяють відслідковувати графік годування, заміни підгузників (звичайно, з вказанням їх якісного вмісту :) ), прийому ліків, вживання твердої їжі.

Основну інформацію можна роздрукувати у стислому вигляді і, при бажанні, показати педіатру.

Для тих, кому мало наявної функціональності для аналізу, є можливість завантажити всі наявні дані в .csv

2011-12-18T20:35:00.001+02:00

Дивимось фільм Seven. По сюжету ФБР здійснює сегментацію читачів бібліотек. Хто прочитав певний перелік книг - кандидат в маніяки-вбивці.

Desktop analytics. Застосування в контакт-центрі

2011-11-24T12:45:00.001+02:00

Desktop аналітика - програмне забезпечення, яке дозволяє здійснювати збір та аналіз дій користувача за комп'ютером. При використанні в контакт-центрах системи такої аналітики дозволяють не лише проводити моніторинг діяльності операторів, а й тестування сценаріїв при введенні нових послуг, оптимізувати існуючі бізнес-процеси, оцінювати швидкість навчання нових працівників та ефективність роботи операторів. Також можна проаналізувати відхилення від середніх значень метрик - середньої тривалості розмови, кількості оброблених викликів, тривалості постобробки звернення та FCR(First Call Resolution) та визначити чому середні значення саме такі.

Проводити збір даних можна системами типу Yaware.

Інфографіка

2011-10-28T15:04:00.001+03:00

Одним із засобів візуального подання даних є інфографіка. Даний тип графіків дозволяє представити комплексний набір інформації у зручній для сприйняття та аналізу формі.
Для прикладу, автором цікавої іконографіки є Jon Bruner, який дослідив розподіл отримувачів Нобелівської премії за країнами.

Беззаперечним лідером в науці після 1945 року є США, причому 32% лауреатів, які отримали премії працюючи в США є виходцями з інших країн. Для порівняння для Німеччини цей показник складає 17%, для Японії 0%. До ІІ Світової Війни лідером по здобуттю премій була Німеччина. Детальніше про дослідження можна прочитати тут.

Для тих, хто цікавиться інфографікою корисним буде російськомовний ресурс http://infographer.ru/, російсько/україномовний http://vmestoslov.info/ і, звичайно ж, праці Едварда Тафті - гуру візуалізації.

Розрахунок кількості операторів call-центру

2011-09-16T18:56:00.000+03:00

Щоб обрахувати кількість операторів для call-центру необхідно попередньо отримати такі дані:

середня тривалість розмови (Average Talk Time);
середній час обробки звернення після дзвінка (Wrap-Up Time);
число викликів на годину (Calls per hour);

Якщо статистичні дані відсутні - для початку можна встановити тривалість розмови 2 хвилини, тривалість постобробки дзвінка прийняти за 0.

Далі обрахунок можна зробити емпірично:

Встановити скільки хвилин за годину (день) оператор витрачає на обслуговування дзвінків.
Поділити отриманий час на середній час обробки дзвінка (тривалість розмови + постобробка) - отримаємо число викликів, які може обробити оператор.
Поділити кількість дзвінків в день на число викликів, які може обробити один оператор - отримаємо кількість операторів.

Можна також скористатись калькулятором Erlang С. Для цього можна використати численні онлайн калькулятори - наприклад http://www.infratel.ru/products/calculation/erlangc.html. Можна також встановити розширення для Excel - http://www.erlang.com/excel.html (дозволяє використовувати формули Ерланга як звичайні формули Excel) або ж http://www.callcentrehelper.com/erlang-c-calculator-2473.htm (безкоштовне рішення). При використанні калькуляторів можемо також встановити рівень сервісного обслуговування - стандартно 80/20 (80% дзвінків отримують відповідь під час перших 20 секунд очікування).

Зауваження:

Підрахунок по даних моделях застосовний для вхідних дзвінків у випадках, коли всі оператори однакової кваліфікації.
Бажано розрахувати кількість операторів у час найбільшого завантаження call-центру та середнє значення. На основі цих даних можемо планувати кількість робочих змін, їх тривалість а також кількість операторів у кожній зміні.
Якщо потрібно розрахувати кількість операторів для здійснення вихідних дзвінків - найпродуктивнішим є рішення коли обдзвон клієнтів здійснюється в автоматичному режимі, всі клієнти які відповіли на дзвінок направляються у вхідну чергу. Тобто фактично маємо підміну вихідних дзвінків на вхідні.

Теорія:

Про формули Ерланга російською можна прочитати тут.
Більше про теорію телетрафіку тут.

Pivot Tables (Зведені таблиці) в Excel 2010.

2011-09-05T15:50:00.002+03:00

Зведені таблиці (або ж Pivot Tables) - потужний інструмент для аналізу та візуалізації даних. Їх можна розглядати як спрощення OLAP-куба. Присутні у більшості редакторів електронних таблиць - Microsoft Excel, Google Docs, OpenOffice Calc, LibreOffice Calc. Найбільш потужно реалізовані у Microsoft Excel, зокрема Excel 2010. Використання засобів Excel з використанням надстройки PowerPivot дозволяє виконувати аналіз даних без залучення спеціалізованого програмного забезпечення для бізнес-аналітики (business intelligence). Прикладом потенціалу є інструмент аналітики twitter Analytics for Twitter. Він дозволяє не лише пошук по хештегах, людях, ключових словах і т д, а й визначення тональності висловлювання (позитивні, негативні, нейтральні).

Але чим потужніший інструмент - тим більше в ньому реалізовано цікавих функцій, використання яких неочевидне при звичайному користуванні. Для того, щоб працювати з Pivot Tables тa PowerPivot ефективніше не зайвим буде використання додаткової літератури. Цікавими виданнями з точки зору аналітики та бізнес-моделювання є Business Analysis: Microsoft Excel 2010, PowerPivot for the Data Analyst: Microsoft Excel 2010 та Microsoft Excel 2010: Data Analysis and Business Modeling :

Всі ці книги, зрештою як і більшість книг ІТ-тематики, ще не перекладені російською мовою. Це не є непереборною перешкодою, але все ж спричиняє деякі незручності. Приємно було взнати, що принаймі одне видання присвячене роботі зі зведеними таблицями в Excel 2010 перекладене російською, а також доступне для замовлення в Україні. Це Сводные таблицы в Microsoft Excel 2010, переклад Pivot Table Data Crunching: Microsoft Excel 2010. Її вчора й було замовлено в інтернет-магазині Yakaboo - вже користувалась їх послугами - швидка й зручна доставка особисто в руки, що на жаль, притаманне далеко не всім інтернет магазинам. Так що наразі я в очікуванні нової книги.

Cruncbase. В якій галузі найвигідніше створювати стартап?

2011-07-09T18:03:00.001+03:00

Минулого разу http://energyfirefox.blogspot.com/2011/06/crunchbase-r.html досліджували на основі crunchbase, яка загальна ситуація по залученню коштів технологічними компаніями. Хоча більшість розробників стартапів більше цікавлять не загальні дані (наприклад що гроші вкладаються приблизно в 1 з 6 компаній), а конкретно галузь, де шанси вигідно продати свій продукт найбільші. На основі даних отриманих А.Корніловим http://frutik.blogspot.com/ будемо аналізувати, в якій галузі найвигідніше шукати нові рішення.

Отже, статистика кількості компаній по галузях:

	row.names	category	all
1	17	software	7042
2	18	web	6149
3	12	other	3214
4	5	ecommerce	2108
5	2	biotech	2071
6	1	advertising	2051
7	10	mobile	1974
8	7	games_video	1959
9	4	consulting	1782
10	13	public_relations	1400
11	6	enterprise	1368
12	8	hardware	1011
13	11	network_hosting	1006
14	3	cleantech	859
15	14	search	666
16	16	semiconductor	505
17	15	security	372
18	9	legal	140

В лідерах веб-технології, програмне забезпечення та електронна комерція, але чи отримують ці проекти гроші? Подивимось, який відсоток компаній по кожній з галузей отримує кошти.

	row.names	all	raised	percent
1	semiconductor	505	324	64.16
2	biotech	2071	1251	60.41
3	cleantech	859	499	58.09
4	hardware	1011	440	43.52
5	security	372	157	42.20
6	mobile	1974	626	31.71
7	enterprise	1368	425	31.07
8	software	7042	2153	30.57
9	games_video	1959	570	29.10
10	network_hosting	1006	268	26.64
11	public_relations	1400	358	25.57
12	web	6149	1420	23.09
13	advertising	2051	416	20.28
14	search	666	134	20.12
15	ecommerce	2108	397	18.83
16	other	3214	485	15.09
17	legal	140	12	8.57
18	consulting	1782	126	7.07

Отже, в найбільш поширених сферах розробки шанси на успіх не такі вже й великі - 1:4, в той час як у технологічних компаній (напівпровідники, біотехнології) спрацьовує більше половини проектів.

Ще цікавим є питання які ж суми вкладаються в кожну галузь? Всі числа подані в тисячах доларів.

10 проектів, які отримали найбільші інвестиції:

	row.names	name	amount_raised	category_code
1	8	Clearwire	5620000	mobile
2	1245	Facebook	2335700	web
3	4031	O3b Networks	1275000	software
4	6803	Terra-Gen Power	1200000	cleantech
5	1874	Groupon	1137000	web
6	1358	Fisker Automotive	1033000	cleantech
7	8794	AOL	1003000	web
8	6814	Tesla Motors	813000	cleantech
9	9288	Better Place	750000	cleantech
10	9581	BrightSource Energy	750000	cleantech

Підсумок по всіх галузях: мінімальна сума, максимальна,середня, типова та сума залучених в галузь коштів. Відсортовано по медіані (найбільш типових величинах) вкладень.

	row.names	minst	medianst	meanst	maxst	sumst
1	semiconductor	35.0	14000.0	21531.409	200000.0	6976176.47
2	biotech	10.0	12300.0	25104.788	598000.0	31406089.87
3	cleantech	10.0	12000.0	45313.334	1200000.0	22611353.66
4	network_hosting	10.0	9200.0	21915.416	300000.0	5873331.53
5	security	25.0	8000.0	15195.487	252000.0	2385691.43
6	hardware	1.1	7700.0	17882.731	409900.0	7868401.54
7	enterprise	5.0	7300.0	15743.030	217930.0	6690787.84
8	advertising	1.5	6000.0	14939.192	248000.0	6214703.95
9	mobile	1.0	5781.0	25197.406	5620000.0	15773576.00
10	public_relations	10.0	5500.0	12361.644	283000.0	4425468.71
11	software	5.0	5300.0	11506.591	1275000.0	24773690.94
12	consulting	3.0	4537.5	11748.343	100000.0	1480291.22
13	games_video	5.0	4000.0	13375.493	519000.0	7624030.97
14	search	2.0	4000.0	13181.106	223000.0	1766268.20
15	other	1.0	3920.0	12400.860	495000.0	6014417.25
16	web	1.2	3000.0	15544.717	2335700.0	22073498.20
17	ecommerce	2.5	2520.0	14079.182	503751.5	5589435.36
18	legal	10.0	525.0	3161.902	23000.0	37942.82

Тобто у високотехнологічних компаній не лише велика ймовірність отримати інвестиції, але й сума цих інвестицій теж більша ніж у галузях з нижчим порогом входження.

Наступні дослідження:

тренди по роках
що вигідніше: зробити стартап і швиденько продати чи розвиватись у компанію
залежність між залученими коштами та розміром компанії