Як проходить співбесіда з дата-аналітиками різних грейдів у продуктових ІТ-компаніях? Цього разу досвідом проведення інтервʼю ділиться OBRIO, бізнес з екосистеми Genesis, що розвиває продукт Nebula — найбільший бренд у ніші астрології. Це №1 продукт у своїй ніші за кількістю завантажень та показниками доходу.
Євгенія Сонькіна, Analytics Team Lead, розповіла, на що звертає увагу на співбесіді, яких помилок припускаються кандидати та як підготуватися, щоби підвищити шанси на офер. А також: що зі статистики та теорії ймовірності має знати кандидат, чому можна не повторювати формули та теореми, а сфокусуватися на інших темах. Євгенія пояснила, чому логічні питання, на кшталт порахувати кількість багатоповерхівок у Києві, нічого не скажуть про кандидата, та поділилися переліком кейсових завдань.
> Що питають на співбесіді дата-аналітика
> Як дата-аналітику отримати офер
> Питання для Junior Data Analyst
> Питання для Middle Data Analyst
> Співбесіда з Senior Data Analyst
> Тестові завдання для дата-аналітика
> Помилки кандидатів та Red Flags
> Корисні поради
Що питають на співбесіді дата-аналітика
Співбесіда з дата-аналітиком в OBRIO триває близько півтори години. Ми маємо орієнтовний план питань, проте кожне інтервʼю — унікальне. Залежно від досвіду та відповідей кандидатів ми розуміємо, в які теми варто заглибитися, а які пройти поверхнево, вигадуємо нові питання та моделюємо ситуації. Отже, перелік питань — це скоріше орієнтир, ніж чіткий план.
Аналітики мають знати певні мови програмування, проте в технічній частині немає лайфкодингу чи ретельно розбору нюансів технологій. Натомість ми ставимо кейсові питання та задачі. Це один з найкращих форматів запитань, який показує спосіб мислення кандидата, логіку та водночас містить технічну складову. Зазвичай технічна частина співбесіди охоплює такі теми, як SQL та Python. Також у роботі дата-аналітиків є певні задачі, для яких треба знати статистику та теорію ймовірності. Якщо кандидат чудово знає Python, любить цифри, але не розуміє жодних статистичних законів та не має уявлення, як це все працює, йому буде важко приймати правильні рішення.
Щоби співбесіда не перетворювалася на університетський іспит, ми намагаємося зводити теоретичну частину інтервʼю до практичного застосування. На питання з цього блоку часом кандидати просто починають розповідати те, що завчили. А коли питаєш, де в житті можна побачити дію центральної граничної теореми, у відповідь — тиша. Одразу зрозуміло, що кандидат просто завчив, але не зрозумів. Ми даємо низку нескладних задач, для яких необовʼязково памʼятати весь університетський курс, а вистачить базових понять та основних законів. Ми даємо час подумати, не забороняємо користуватися будь-якими матеріалами. У разі потреби можна запитати або загуглити формулу. Важливіше, щоби кандидат знав, як це вирішити, ніж памʼятав усі вирази. Раніше ми також питали комбінаторику, проте зараз більше фокусуємося на теорії ймовірності.
Зі статистики можемо запитати, які кандидат знає ряди розподілу, просимо навести приклад, де вони зустрічаються. Або це може бути завдання визначити розподіл у конверсії в клік на кнопку на сайті. Це показує, чи кандидат, в принципі, розуміє, що таке розподіл даних. З теорії ймовірності задаємо невеликі задачки, на кшталт: ймовірність побачити за вікном жовту машину — 30% за 20 хвилин. Якою буде ймовірність за годину?
В абстрактних задачах на логіку ми бачимо мало користі. Якщо кандидат знає, як порахувати, скільки в Києві продається шаурми, не факт, що цю логіку він зможе використовувати в роботі.
Крім того, в інтернеті є чимало методик для подібних задач і вловити, як їх розвʼязувати, нескладно. Ми замінили їх на більш практичні завдання. Наприклад, якщо ми встановили рекламний білборд біля дороги, як порахувати його окупність?
Через кейсові питання ми також перевіряємо, наскільки людина розуміє, що таке продуктова команда, які існують метрики, та як з ними працювати. Якщо просто запитати «Які метрики ви знаєте?», кандидат може пересказати першу-ліпшу статтю з гуглу. А чи є розуміння, як перетинаються продуктові та маркетингові метрики, як одна впливає на іншу, ми не дізнаємося. Зазвичай ми моделюємо робочу ситуацію, наприклад: «Ти приходиш зранку на роботу і бачиш різке падіння однієї з метрик. Твої дії?». Після відповіді кандидата, ми додаємо певні вхідні дані та звертаємо увагу, чи розуміє людина, як їх використати.
Як дата-аналітику отримати офер
Бути вмотивованим. Це найголовніший софт-скіл, на який звертають увагу в OBRIO. Такі люди в команді завжди приносять найбільше імпакту для бізнесу. Вони самостійно знайдуть собі завдання, а не чекатимуть менеджера, мають амбіції зростати та розвиватися.
Мати сильні комунікативні навички. Якщо кандидат сильно плутається у словах, не може донести думку, або починає говорити в одному місці, закінчує взагалі в іншому, йому буде складно. Одна з компетенцій дата-аналітика — переконливо презентувати свої інсайти команді. Оцінюючи цей скіл, варто робити поправку, що більшість людей на співбесідах сильно нервують. Зазвичай я намагаюся заспокоїти людину, поговорити на інші теми та зрозуміти, чи все добре у неї з комунікацією.
Бути командним гравцем. Одна з цінностей OBRIO — TeamUp. Ми любимо працювати в команді, адже так можна отримати швидший та якісніший результат, ніж все робити самостійно і боятися попросити про допомогу.
Слідкувати за трендами. В аналітиці постійно зʼявляються нові інструменти, ресурси та підходи, оновлюються бібліотеки того ж Python. Важливо, щоби людина не використовувала тільки те, що вивчила три роки тому, і на тому і застрягла. Звісно, тих знань вистачить для роботи дата-аналітика, але постійно будуть з'являтись ефективніші методи, цікаві підходи, думки та інсайти, з якими варто експериментувати.
Вести діалог з інтервʼюером. Такий формат співбесіди завжди приємніший обом сторонам, ніж коли кандидат мовчить і боїться запитати уточнення або деталі. Ми завжди раді, коли кандидат має питання та не боїться їх озвучувати.
Співбесіда з Junior Data Analyst
Зазвичай джуніор дата-аналітики шукають роботу одразу після навчання, і вимоги до них досить невисокі. Здебільшого вони не мають комерційного досвіду, водночас ми звертаємо увагу на реалізовані практичні проєкти, що показують результати освіти.
Основний фокус у співбесіді з цим грейдом — перевірити софт-скіли, зокрема мотивацію кандидата. Якщо кандидат щойно закінчив курси, ми можемо спитати деякі пройдені теми, щоби зрозуміти, на скільки багато він приділив уваги навчанню, та чи є розуміння, як її використовувати надалі. Хороший показник — коли людина шукає можливості для самостійного навчання, а не чекає, що його всьому навчать на роботі.
SQL — нескладна мова, тож початківцям варто знати як мінімум, як формувати запити. Є чимало тренажерів, де можна потренувати цей скіл, і це точно буде корисним під час співбесіди. Базове знання мов програмування також буде плюсом, хоча це не вимагається.
Загалом від джуніора очікується базове розуміння статистики, продуктових метрик, які вони в принципі бувають. Буде добре, якщо кандидат, який процеситься в продуктову компанію, почитає перед співбесідою, що таке продукт, які бувають метрики, як вони рахуються.
Питання для Junior Data Analyst
Статистика
1. Чим медіана відрізняється від моди?
2. Які розподіли даних ви знаєте?
3. Наведіть приклади даних, які матимуть нормальний розподіл?
4. Якщо ми маємо кнопку на сайті, то яким розподілом буде конверсія в клік на цю кнопку?
5. Що таке стандартне відхилення та стандартна помилка?
6. Що таке дисперсія?
Метрики
7. Що означають метрики: Retention, LTV, ARPU? Як їх розраховувати?
8. Для чого бізнесу знати LTV?
9. Поясніть, що таке конверсія і як її вимірювати?
10. Які складові має юніт-економіка? Як вона розраховується?
11. Що таке продуктові гіпотези? Якими вони бувають?
12. Як їх правильно формулювати та валідувати?
13. Назвіть чотири методи перевірки гіпотез.
A/B тестування
14. Чим відрізняється А/B- та A/A-тест?
15. Як і коли проводяться А/В тести?
16. Як визначити розмір вибірки для A/B тестування? Чому цей вибір важливий?
17. Скільки має тривати A/B тестування, щоби визначити його результати?
18. За якими метриками оцінювати результати A/B тестування?
19. Чи варто проводити додаткові тести для підтвердження результатів?
SQL
20. Який порядок виконання SQL-запитів?
21. Які бувають види JOIN? Як вони виконуються та в яких випадках? Візьміть будь-які два JOIN і поясніть різницю.
22. Що таке первинний ключ у таблиці?
23. Які звʼязки існують між таблицями?
24. Як виконувати операції count users та count distinct users?
25. Як фільтрувати дані? Які обмеження є у WHERE?
26. У таблиці є строки з однаковими значеннями, наприклад ID користувачів. Як виявити дублікати та прибрати їх? Як вирішити це завдання через віконну функцію?
27. Як у стовпці визначити найбільше значення? А як друге та третє найбільше значення?
Співбесіда з Middle Data Analyst
Інтервʼю з мідлами здебільшого будується на кейсових питаннях, софт-скілах та досвіді роботи. Нам цікаво дізнатися, як людина вирішувала проблеми, як вона розвивалася на попередньому проєкті, чи є в неї розуміння, чого їй не вистачає до грейду cеньйора.
Технічна частина інтервʼю вже містить більше питань, здебільшого зі статистики, теорії ймовірності, SQL, Python. Ці навички мають бути на досить високому рівні у цього грейду. Нас цікавить, на скільки добре людина опанувала ці інструменти, чи розуміє, як оптимізувати роботу. Ще один фактор — чи добре розвинуте логічне мислення у кандидата. На цьому рівні спеціаліст вже менше виконує завдання «руками», а думає над розвʼязанням складних завдань. І ця «надивленість» у пошуку рішень — надзвичайно цінна для бізнесу.
Перевагою для Middle Data Analyst є наявність бізнесового майндсета. Якщо аналітик його не має та не прагне розвивати, його робота може бути неефективною. Адже рішення будуть прийматися без врахування того, що корисніше для бізнесу.
Питання для Middle Data Analyst
Статистика
28. Наведіть приклад виконання центральної граничної теореми в житті.
29. Працюючи з датасетом, ви виявили декілька надзвичайно високих та низьких значень, які можуть бути викидами. Яким буде ваш план дій?
30. Назвіть чотири способи обробки викидів у датасеті.
31. Ви аналізуєте дані про покупки користувачів у застосунку за певний період. Під час обробки даних вирішили застосувати «правило трьох сигм» для виявлення викидів. Поясніть, як це працює.
32. Що таке кореляції між двома величинами? Які бувають кореляції?
33. Ймовірність побачити теслу протягом будь-яких 20 хвилин — 30%. Яка ймовірність побачити теслу протягом 1 години?
Метрики
34. Якими можуть бути причини падіння DAU?
35. У застосунку збільшилася кількість користувачів, які збиралися здійснити покупку, але не завершили оплату. Які дані варто аналізувати, щоб зрозуміти причину?
36. Кількість нових реєстрацій знизилася на 20% за останній місяць. Як це вплине на інші метрики?
37. Середня тривалість сесії зросла на 15% за останній місяць. Як ми можемо використати це зростання для покращення продукту або стратегії маркетингу?
38. Конверсія з початкової сторінки зменшилася на 10% за останній місяць. Які дії ми можемо вжити для поліпшення конверсії?
A/B тестування
39. Які ресурси для аналізу тестів тобі відомі?
40. Коли компанії варто запускати A/A/B тести?
41. Що таке MDE (Minimum Detectable Effect) і чому його важливо враховувати при проведенні A/B-тестів?
42. Що таке P-value? Як його розраховувати?
43. Що таке довірчий інтервал і як його розрахувати в межах A/B тесту?
44. Що таке помилка першого і другого роду? За що відповідає Statistical power?
45. Якщо вам потрібно обрахувати вибірку для тесту, як ви це зробите?
46. А якщо метрика, на яку ви запускаєте тест — монетарна?
47. Як можна перевірити статзначущість монетарних метрик?
48. Продуктова команда має 5 фічей для A/B-тестування. Як ви визначите, яку саме варто тестувати першою?
SQL
49. Є таблиця івентів за користувачами: як подивитися, який за рахунком івент для користувача?
50. Як визначити, скільки у користувача займає кожен крок у застосунку?
51. У чому буде різниця фільтрації в Where clause та ON clause при джойні запитів?
52. Що таке міграції в контексті роботи з SQL запитами? Для чого це може бути потрібно?
53. Якби не було дублікатів, ви б використовували UNION або UNION ALL?
54. Назвіть максимальну кількість способів прибрати дублікати з таблиці.
Python
55. Оберіть улюблену бібліотеку для візуалізації та поясни чому користуєшся саме нею.
56. Поясніть різницю між списком та кортежем як для 5-річної дитини?
57. Як створити дата-фрейм зі списку / з масиву / з csv?
58. Функція map: навіщо потрібна і як її застосовувати?
59. Функція reduce: навіщо потрібна і як її застосовувати?
60. Вам дали датасет для роботи. Розкажіть, як би ви підійшли до роботи із ним?
61. Якщо у ньому багато пропущених значень, якою б функцією заповнювали?
62. Якщо вам потрібно спрогнозувати курс валют на тиждень вперед, як би ви це робили?
63. Чим функція SUM відрізняється від оператора «+»?
Задачі
64. Ви прийшли на роботу, і маркетологи кажуть, що різко просів LTV. Що будете робити? (Залежно від відповідей кандидата, розкручувати історію та додавати деталі)
65. Як оцінити ефективність маркетингової кампанії, якщо ми її пустили на білборді? Як знайти найкраще місце де її поставити?
66. Що робити, якщо дані, які вам потрібні були для аналізу, випадково видалились іншим співробітником?
67. Ви знайомі з нашим продуктом? Запропонуйте гіпотези для покращення метрики х.
68. Ви знайомі з нашим розділом х? Давайте придумаємо додаткові види монетизації цього розділу.
69. Як можна виявити падіння числа користувачів, які зацікавлені в фічі х завчасно?
Співбесіда з Senior Data Analyst
Коли спеціаліст досягає рівня сеньйор, передбачається, що усю хардову частину він вже добре знає. Тому немає сенсу розмовляти з такими кандидатами про SQL чи Python. Зазвичай ми будуємо розмову навколо складних кейсових розборів та продуктового мислення.
Під час інтервʼю важливо оцінити, на скільки різнопланові завдання вміє розвʼязувати людина. Як розвинута її надивленість, чи знає, як обʼєднати продуктову, бізнесову та маркетингову частини? Чи є експертиза з предиктивними системами та прогнозуванням поведінки?
Сеньйор має чітко знати процеси в продуктовій команді та вміти створити чіткий план для розвʼязання будь-якої продуктової проблеми.
Тестові завдання для дата-аналітика
Залежно від позиції ми визначаємо, чи спочатку даємо тестове, а потім кличемо на співбесіду, чи навпаки. Наприклад, для дата-аналітиків тестове завдання може не відображати всього кандидата, то ми спочатку проводимо співбесіду, і якщо в нас немає зауважень, переходимо до наступного етапу.
Завдання бувають різними, але зазвичай містять завдання з SQL, статистики та роботи з продуктовими метриками. Наприклад, просимо кандидата спрогнозувати LTV для когорти. В одному з варіантів ми просили проаналізувати результати A/B тесту. У більшості завдань ми ховаємо певну «пасхалку», і якщо кандидати її знаходять, це завжди додатковий бал.
Часом ми даємо завдання на креатив замість чітких питань. Наприклад, для вакансії пеймент-аналітика ми надаємо змінений дата-сет даних та просимо написати свої інсайти та думки. Завдяки такому завданню ми можемо відбирати сильних кандидатів — прискіпливих, уважних до деталей, які докопаються до кожної строчки даних та нічого не пропустять.
Помилки кандидатів та Red Flags
Здаватися, коли щось не виходить. Коли кандидати не можуть вирішити завдання з першого разу та нервують, вони часом відмовляються зробити ще одну спробу. Ця відмова — гірша за неправильну відповідь, адже в роботі трапляється безліч кейсів, коли ти чогось не знаєш і треба докласти зусиль для пошуку рішення. Так само як ми звертаємося в таких ситуаціях до досвідчених колег, на співбесіді можна попросити підглянути якусь формулу, ставити додаткові питання або прямо попросити підказати напрям — це сприйматиметься позитивно.
Самовпевненість. Ця помилка стосується скоріше грейду Middle. Ці спеціалісти мають певний досвід та почуваються впевнено, тож часом зовсім не готуються до співбесід. Буває, що у резюме кандидата бачиш цікавий трекінг, але ставиш декілька питань, а людина не може згадати, які задачі виконувала на минулій посаді, як закривали A/B тести тощо. Думаю, кожному варто готуватися до інтервʼю: освіжити знання, спробувати розвʼязати задачі. Крім того, рекомендую проаналізувати попередній досвід та досягнення.
Нуль невдач. «Що не вдалося?» — одне з найпоширеніших питань для будь-якої позиції. Почувши його, кандидати часто запевняють, що такого не було, усі кейси були виключно вдалими. Проте це звучить непереконливо, адже провали трапляються з усіма. Краще підготувати релевантний приклад, розповісти, що б ви зробили інакше, який урок винесли з цієї історії, або що зробили, щоби ситуація не повторювалася.
Категоричність. Деякі кандидати одразу наголошують, що готові працювати рівно 8 годин і категорично проти овертаймів з будь-яких причин. Їх можна зрозуміти — ніхто не любить понаднормову роботу (в тому числі ми). Та й ніхто не пропонує постійно працювати в такому режимі. Проте на будь-якому проєкті трапляються кризові ситуації, і для нас важливо знати, що людина зможе разом з командою попрацювати на пару годин довше, щоби разом все владнати, а не просто піде додому, бо робочий день скінчився. Це позиція амбітної людини, яка хоче розвиватися, рухатися вперед та досягати більшого.
Корисні поради
Проведіть дослідження. Дізнайтеся, чим займається компанія, який продукт розвиває, які має досягнення. Це універсальна порада для будь-якої позиції та компанії. Кожен менеджер оцінить вашу підготовку.
Порефлексуйте щодо своїх сильних та слабких сторін, а також планів розвитку. Коли у кандидата є бачення точок свого зростання — це завжди хороший знак. З такими людьми легше працювати та допомагати їм розвиватися.
Починайте готуватися заздалегідь. Рекомендую незалежно від того, чи активно ви шукаєте роботу, підтримувати професійні знання з SQL, Python, статистики та теорії імовірності. Є безліч книг, відкритих тренажерів та збірок задач. Зокрема, буде корисною книга «Як зрушити гору Фудзі. Підходи провідних світових компаній до пошуку талантів» Вільяма Паундстоуна. Підпишіться на профільні подкасти, медіа, блоги та розсилки — це розвиває необхідну надивленість в аналітика, що точно допоможе на майбутніх співбесідах.
Ставте питання. Співбесіда — це розмова двох сторін. Компанія не просто намагається оцінити кандидата та вказати, що з ним щось не так. Це процес пошуку «своїх» людей, які підходять команді за хард- і софт-скілами. Так само і кандидат має ставити питання, уточнювати та зрештою відчути той «метч».