90+ питань на співбесіду з Machine Learning Engineer. Ділиться Universe Group
- Катерина Шевченко
- 9 годин тому
- Читати 9 хв
Як проходить співбесіда з Machine Learning Engineer, та які питання ставлять? Цього разу досвідом проведення інтервʼю ділиться Universe Group, компанія з екосистеми Genesis, яка будує tech-бізнеси, перетворюючи ідеї на глобальні продукти. До групи входять три компанії: Guru Apps, FORMA та Wisey, а також R&D-центр — власна лабораторія експериментів, де тестують нові продукти.
Один з продуктів компанії — Visify. Це мобільний застосунок для створення та редагування зображень і відео за допомогою технологій штучного інтелекту. Саме до цього проєкту команда активно шукає ML-інженерів.
Павло Лисий, Machine Learning Engineer в бізнесі Guru Apps, розповів, як проходять співбесіди в Universe Group, яких кандидатів шукає компанія, чому під час виконання тестового завдання вітається використання ChatGPT, а поверхневі знання про генеративний ШІ є red flag. Також Павло поділився підбіркою поширених питань, які можуть зустрітися ML-інженерам на співбесідах. У кінці статті бонус — підбірка актуальних вакансій в компанію.
Як проходять співбесіди з Machine Learning Engineer в Universe Group
В Universe Group процес найму починається з визначення потреби в новому співробітнику та формулювання вимог: чітко окреслюємо необхідний рівень кандидата, технологічний стек і ключові навички.
Після короткого скринінгового інтерв’ю кандидати отримують технічне тестове завдання. Наприклад, реалізувати базову модель машинного навчання або обробити невеликий набір даних. Іноді ми надаємо конкретний стек технологій, а іноді залишаємо його на вибір кандидата. Приблизний обсяг роботи — 4-5 годин. На кожне виконане завдання ми надаємо індивідуальний фідбек: пояснюємо, чому завдання було прийняте чи відхилене, а також даємо рекомендації щодо покращення.
Кандидатів, які успішно виконали завдання, запрошуємо на технічну співбесіду, де обговорюємо деталі рішення, а також досвід кандидата та інші технічні питання.
Тестове завдання можна виконувати з допомогою ChatGPT — не маємо нічого проти. Навпаки, якщо в роботі людина користуватиметься такими інструментами, то цілком логічно, що вона застосовує їх і під час виконання тестового. Питання не в тому, чи вона користувалася ChatGPT, а в тому, наскільки вона розуміє, що робила. Це дуже легко перевірити: під час співбесіди ми завжди обговорюємо тестове. Питаємо: «чому обрав такий метод?», «чому ці гіперпараметри, а не інші?», «як працює та чи інша частина?». І якщо людина просто скопіювала відповідь LLM, не розібравшись, — це видно одразу, буквально після одного-двох уточнень.
У машинному навчанні взагалі немає єдиного правильного рішення. Одне завдання можна виконати десятками способів. І тут головне — не метод, а логіка вибору. Нам важливо зрозуміти, що стоїть за рішенням кандидата. Це дуже творча робота, подекуди навіть більш творча, ніж написання книжок.
Фінальний етап — баррейзинг: оцінка загального рівня кандидата та метч із цінностями компанії. Після успішного проходження цього етапу кандидат отримує офер.
Що має знати Machine Learning Engineer
Із кандидатами рівня джуніор ми говоримо про досвід, якщо такий є. Цікавимось чому кандидат обрав цей напрям, — нам важливо розуміти істинні мотиви, чому він шукає цю роботу. Також цікавимось з якими ML-алгоритмами він працював, які DL-моделі навчав, які архітектури нейронних мереж знає. Загалом ставимо 5-8 класичних базових питань для співбесід.
Дізнаємося, чи використовує кандидат нейромережі в роботі та побуті, в яких кейсах, Поганим кейсом можна вважати ситуацію, коли людина майже не користується нейромережами та ігнорує інструменти на базі ШІ. Це свідчить про те, що вона не стежить за розвитком технологій та не схильна вивчати нове. Нині панує інша парадигма: навіть якщо ти досвідчений спеціаліст, потрібно навчатися щодня, адже завжди є щось, чого ти ще не знаєш.
Хороші кейси — коли кандидат ділиться враженнями про різні інструменти. Це свідчить про широку обізнаність та інтерес до нових рішень. Якщо людина зупинилась лише на ChatGPT — це досить сумно, бо на ринку вже є безліч інших цікавих штук. Наприклад, DALL-E або Stable Diffusion для генерації зображень, Perplexity для швидкого доступу до інформації, Suna — для генерації музики. Також ми часто питаємо, як кандидат розвиває свою експертизу в ML, які ресурси використовує для навчання тощо.
Зі спеціалістами рівня мідл ми більше говоримо про досвід, фокусуючись на тих чи інших нішах — LLM / CV / ML. Зокрема нам цікаво почути, в яких проєктах кандидат працював, які задачі вирішував, яких результатів досяг. Уточнюємо, чому кандидат ухвалив саме таке рішення, чим цей вибір мотивований. Часто питаємо про метрики, які кандидат обрав для валідації якості результатів, а також корнер-кейси, де його рішення працює погано. Класно, коли кандидат може чесно зізнатися, що раніше обрав це рішення, адже не вистачало глибшої експертизи й розуміння, як це можна зробити краще. Коли кандидат рефлексує, як би вирішив цю задачу зараз. Відкритість та щирість для нас дуже важлива. Загалом нам важливо зрозуміти, що яку би проблему кандидат не вирішував і яке би рішення не впроваджував, він глибоко розуміється на ньому.
Додаткове питання, яке мені подобається особисто: яку останню статтю на arxiv розбирав кандидат і що він може розказати про неї. Звісно, ми не просимо детальний переказ — достатньо загального ревʼю, про що цей текст і чим цікавий. Для ML-інженера читати наукові статті, розуміти, як працюють моделі, що нового з’являється в галузі — це база. Завжди цікаво, коли кандидат згадує якусь статтю, про яку я сам ще не чув або не читав. Це добрий знак: значить, людина постійно цікавиться темою, слідкує за оновленнями, розвивається. Якось кандидат розповідав про статтю про нейромережі V-A-N (Video Action Network) — це понад п’ятдесят сторінок технічного тексту про генерацію відео. Було приємно бачити, що людина занурилася в такий складний матеріал.
Якщо ж кандидат розповідає, наприклад, про статтю Attention Is All You Need 2017 року — це досить сумно. Хоч вона і базова, але якщо крім неї кандидату немає, про що розповісти, складається враження, що на цьому знайомство з темою й зупинилося.
Хард- і софт-скіли для Machine Learning Engineer
У хард скілах для нас найважливіше глибоке розуміння ML та DL-алгоритмів: як вони працюють, яка математика за ними стоїть. Водночас ми дуже цінуємо нестандартне мислення. Навіть якщо кандидат точно не знає, як працює той чи інший алгоритм, для нас великий плюс, якщо він здатен логічно припустити, що може бути «всередині» цієї технічної магії. Часто буває, що людина ніколи не чула про конкретний метод, але, подумавши, фактично самостійно його «винаходить».
Наприклад, якось на співбесіді я запитав кандидата, як, на його думку, працює LLM, що генерує текст токен за токеном — наприклад, ChatGPT. Він почав міркувати вголос, припустив можливу архітектуру — і, як виявилось, описав усе майже точно. Це дуже сильний сигнал: людина не просто вивчає щось із довідників, а мислить інженерно й аналітично.
Якщо кандидат демонструє сильні хард скіли, ми оцінюємо софт-скіли. Нам важливо, щоби кандидат був відкритим, щирим і чесним, мав розвинені комунікаційні навички. Цінуємо проактивність: коли кандидат заздалегідь знайомиться з компанією, переглядає наші соцмережі, користується продуктами, які ми створюємо. Дуже позитивно сприймається, коли кандидат ставить багато запитань і справді цікавиться всім, що стосується ролі та команди. Наше внутрішнє правило: погане питання — це лише те, яке не було поставлене.
Ми шукаємо не просто фахівців, а людей, які поділяють наші цінності:
Proactivity — ініціативність, залученість і готовність виходити за межі своєї ролі задля спільного результату.
Focus on results — орієнтація на досягнення конкретного ефекту, а не просто на виконання процесів.
Openness — чесність у комунікації, відкритість до зворотного звʼязку та бажання постійно ставати кращими.
Flexibility — готовність адаптуватися до нових умов, змінювати підходи й тестувати гіпотези.
Unity — командність, взаємопідтримка та обʼєднання різних точок зору задля спільної мети.
Вони формують основу командної культури й допомагають нам рухатись швидко, відповідально й злагоджено.
Red Flags на співбесіді
❌ Поверхневі знання про LLM або CV-моделі
Зараз генеративний ШІ — тренд, який неможливо ігнорувати. Якщо кандидат не може змістовно пояснити, як працюють моделі типу ChatGPT чи Stable Diffusion, це показує, що він не занурювався глибоко в них.
❌ Прояви токсичності
Неповага, агресивна комунікація або зневажливе ставлення помітні ще на етапі співбесіди. Їх не може компенсувати навіть дуже високий технічний рівень.
❌ Нечесність або невідповідність цінностям команди
Кандидат намагається ввести в оману, прикрашати реальність або демонструє інші пріоритети у роботі.
Водночас ми можемо закрити очі на прогалини у точних знаннях, які можна нагуглити за 3 секунди. В сучасному світі нікому не потрібно ідеально знати формули. Важливіше, щоби кандидат розумів логіку, що стоїть за цими метриками та алгоритмами. Наприклад, якщо кандидат знає, що таке метрики precision та recall, навіщо вони потрібні, але переплутає їх місцями — це абсолютно прийнятно.
Будьте щирими, відкритими та чесними. Не варто хвилюватися на співбесіді чи намагатися за будь-яку ціну сподобатися інтервʼюеру. Натомість важливо сфокусуватись на взаємному розумінні — співбесіда потрібна обом сторонам, щоби зʼясувати, чи підходите ви один одному. Щодо технічної частини — раджу ще раз уважно переглянути своє резюме, пригадати ключові проєкти, над якими ви працювали, і бути готовими детально розповісти про них: які задачі вирішували, які інструменти використовували, чому обирали саме такі рішення.
Питання для Machine Learning Engineer:
Класичний ML:
Що таке supervised та unsupervised learning? Наведіть приклади.
Що таке underfitting та overfitting? Як їх розпізнати?
Що таке bias-variance trade-off у машинному навчанні?
Що таке k-fold cross-validation і навіщо його використовувати?
Що таке precision, recall, F1-score? Коли одна метрика важливіша за іншу? Що таке ROC-крива та AUC?
Чому важливо нормалізувати або стандартизувати фічі?
Що таке feature importance? Як її можна оцінити?
Навіщо потрібен feature selection?
Як працює лінійна регресія, логістична регресія?
Поясніть механіку роботи дерева рішень (Decision Tree). Як працює Random Forest?
У чому полягає ідея методу градієнтного бустингу (Gradient Boosting)?
Назвіть відмінності між XGBoost, LightGBM та CatBoost.
Як працює метод опорних векторів (SVM)?
Як працює алгоритм k-Nearest Neighbors (kNN)?
Що таке Naive Bayes classifier і які у нього обмеження?
Що таке missing value imputation і які існують методи?
Як обробляти категоріальні фічі для моделей, які очікують числові вхідні дані?
Як створити нові фічі для табличних даних? Наведіть приклади.
Як обрати метрику для highly imbalanced data (наприклад, 99% негативних класів)?
Як правильно будувати тренувальну та тестову вибірку для time series задач?
Що таке hyperparameter tuning і які методи для цього існують (GridSearch, RandomSearch, Bayesian Optimization, Optuna, etc)?
Як працювати з великою кількістю ознак (1000+ фіч)?
Як боротися із мультиколінеарністю серед фіч?
Які є способи прискорити тренування XGBoost на великому датасеті?
Як пояснити predictions складної моделі? Що таке SHAP і LIME?
Як працювати з неврівноваженими класами (imbalanced classes)? Наведіть приклади рішень.
Що таке early stopping у бустингових моделях і навіщо він потрібен?
Як працює Regularization у лінійних моделях (L1, L2)?
Що таке Ridge і Lasso регресія? Яка між ними різниця?
Як впливає learning rate у boosting-моделях?
Gen-AI (Computer Vision):
З якими бібліотеками для комп’ютерного зору ви працювали (наприклад, OpenCV, Albumentations, Detectron2, MMDetection)?
Який ваш досвід з TensorFlow, PyTorch? Чи є переваги одного над іншим для задач CV?
Які основні архітектури для роботи з зображеннями ви знаєте?
Опишіть коротко принцип роботи моделі CNN?
Опишіть коротко принцип роботи моделі Vision Transformer (ViT)?
Опишіть коротко принцип роботи моделі Autoencoders?
Поясніть принцип роботи механізму attention у контексті задач комп'ютерного зору.
Чи знаєте ви принцип роботи моделі Stable Diffusion? Чи мали ви досвід роботи з цією моделлю?
Розкажіть детальніше про архітектуру Stable Diffusion (U-net + CLIP + Autoencoders).
Як Stable Diffusion використовує текстові промпти для генерації зображень?
Для чого потрібний CLIP у цій архітектурі? Чи мали ви досвід роботи з цією моделлю окремо? Чи знаєте ви, як відбувається процес навчання таких моделей?
Як працює Latent Stable Diffusion, в чому його відмінність від класичного SD?
Чим відрізняється генерація text-to-image від генерації на основі зображення image-to-image?
Чим відрізняються алгоритми вибору кроків у sampling (DDIM, DPM, Euler A тощо)?
Як можна вплинути на деталізацію обличчя чи рук при генерації?
Як працює ControlNet і чим він розширює можливості Stable Diffusion?
Навіщо використовують Lora в моделях Stable Diffusion?
Як працює Textual Inversion?
Чи був у вас досвід роботи з тренуванням через dreambooth (Stable Diffusion)?
Уявімо, що ми тренуємо SD модель через dreambooth на генерацію конкретного обличчя, наприклад мене, на вхід моделі ми подали 10 моїх селфі. Як зрозуміти, що при навчанні у моделі відбувся overfitting?
Чи знаєте ви принципи роботи ip-adapter, чи працювали ви з якимось із них?
Які типові проблеми виникають при використанні Stable Diffusion у продакшн середовищах?
Які моделі для роботи з відео ви знаєте?
Чи працювали ви з text2vid або img2vid моделями?
Як працюють моделі для генерації відео? (Sora, Wan, Veo, Kling etc)
По Gen-AI (NLP+LLM)
Що таке word embedding? Наведіть приклади популярних алгоритмів для їх побудови.
Як працює Word2Vec?
Що таке токенізація?
Які є види токенізації і для чого вона потрібна? Яку токенізацію використовують найпопулярніші LLM (ChatGPT, etc) і чому?
Чим відрізняється lemmatization від stemming?
Розкажіть про архітектуру трансформера.
Чому архітектура трансформер відкрила прорив для таких потужних LLM і чому це було неможливо на LSTM, RNN, або інших моделях послідовностей?
Поясніть концепцію attention в трансформерах простими словами.
Яка проблема виникає при моделюванні довгих послідовностей у RNN?
Що таке perplexity і як її інтерпретувати для мовних моделей?
Що таке masked language modeling і де воно використовується?
Що таке autoregressive language model? Наведіть приклади.
Для чого потрібні positional encodings у трансформерах?
Чим відрізняється архітектура GPT від BERT?
Як працює encoder-decoder трансформер у таких моделях, як T5 або BART?
Що таке multi-head attention?
Як працює MoE (Mixture of Experts) архітектура в масштабних LLM?
Що таке beam search і для чого він потрібен при генерації тексту?
Як працює nucleus sampling (top-p sampling)?
Чим temperature впливає на поведінку LLM при генерації?
Що таке RLHF (Reinforcement Learning from Human Feedback)?
Як працює PPO (Proximal Policy Optimization) у навчанні LLM через RLHF?
Що таке self-supervised learning у контексті тренування мовних моделей?
Що таке alignment в LLM? Чому це стало важливо після ChatGPT?
Як працює LoRA (Low-Rank Adaptation) fine-tuning?
Які підходи є для роботи з токенізацією неанглійських текстів (наприклад, української мови)?
Як скоротити latency при inference великої LLM-моделі?
Що таке quantization моделей? Чим відрізняються 8-bit, 4-bit quantization?
Як масштабувати inference LLM на кілька GPU?
Як уникати hallucination у відповідях великих мовних моделей?
Як можна інтегрувати зовнішні бази даних або API в пайплайн генерації тексту через LLM?
Як проводити evaluation LLM для open-ended генерації відповідей?
Які метрики підходять для оцінки якості діалогових агентів?
Як організувати контроль версій для fine-tuned моделей?
Чим відрізняється Instruction Tuning від Supervised Fine-Tuning?
Що таке Retrieval-Augmented Generation (RAG) і як воно працює?
Як працює Memory в LLM?
Як працюють Tool-augmented LLMs (наприклад, агенти, що викликають зовнішні інструменти)?
Що таке «context window» і як його обмеження впливають на відповіді LLM?
Актуальні вакансії в команду Universe Group:
