Вопросы для собеседования на должность ведущего специалиста по данным: Полное руководство

# Пример: Система отслеживания наставничества
class MentorshipTracker:
    def __init__(self):
        self.mentees = {}
    
    def create_development_plan(self, mentee_name, current_level, target_level, timeline_months):
        """Создать индивидуальный план развития"""
        plan = {
            'mentee': mentee_name,
            'current_level': current_level,
            'target_level': target_level,
            'timeline_months': timeline_months,
            'skills_to_develop': [],
            'projects': [],
            'milestones': [],
            'check_ins': []
        }
        self.mentees[mentee_name] = plan
        return plan
    
    def add_skill_goal(self, mentee_name, skill, current_proficiency, target_proficiency):
        """Добавить цель развития навыков"""
        goal = {
            'skill': skill,
            'current': current_proficiency,
            'target': target_proficiency,
            'resources': [],
            'progress': 0
        }
        self.mentees[mentee_name]['skills_to_develop'].append(goal)
    
    def log_check_in(self, mentee_name, date, notes, progress_rating):
        """Зарегистрировать проверку наставничества"""
        check_in = {
            'date': date,
            'notes': notes,
            'progress_rating': progress_rating,
            'action_items': []
        }
        self.mentees[mentee_name]['check_ins'].append(check_in)
    
    def get_progress_summary(self, mentee_name):
        """Получить сводку о ходе работы подопечного"""
        plan = self.mentees[mentee_name]
        avg_progress = sum(s['progress'] for s in plan['skills_to_develop']) / len(plan['skills_to_develop'])
        return {
            'mentee': mentee_name,
            'overall_progress': avg_progress,
            'skills_in_progress': len([s for s in plan['skills_to_develop'] if 0 < s['progress'] < 100]),
            'skills_completed': len([s for s in plan['skills_to_develop'] if s['progress'] == 100]),
            'total_check_ins': len(plan['check_ins'])
        }

# Пример использования
tracker = MentorshipTracker()
tracker.create_development_plan('Alice', 'Junior DS', 'Mid-level DS', 12)
tracker.add_skill_goal('Alice', 'Deep Learning', current_proficiency=2, target_proficiency=4)
tracker.add_skill_goal('Alice', 'Model Deployment', current_proficiency=1, target_proficiency=3)
tracker.log_check_in('Alice', '2025-01-15', 'Завершен курс PyTorch', progress_rating=7)

summary = tracker.get_progress_summary('Alice')
print(f"Сводка о ходе работы: {summary}")

# Пример: Проект архитектуры платформы машинного обучения
class MLPlatformArchitecture:
    def __init__(self):
        self.components = {
            'data_layer': {
                'data_lake': 'S3/GCS/Azure Blob',
                'data_warehouse': 'Snowflake/BigQuery/Redshift',
                'feature_store': 'Feast/Tecton',
                'data_catalog': 'DataHub/Amundsen'
            },
            'compute_layer': {
                'training': 'SageMaker/Vertex AI/AzureML',
                'batch_inference': 'Spark/Dask',
                'real_time_serving': 'Kubernetes/SageMaker Endpoints'
            },
            'ml_ops': {
                'experiment_tracking': 'MLflow/W&B',
                'model_registry': 'MLflow/SageMaker',
                'pipeline_orchestration': 'Airflow/Kubeflow',
                'monitoring': 'Prometheus/Grafana'
            },
            'governance': {
                'version_control': 'Git/DVC',
                'access_control': 'IAM/RBAC',
                'audit_logging': 'CloudTrail/StackDriver'
            }
        }
    
    def design_for_scale(self, expected_models, expected_requests_per_sec):
        """Разработать архитектуру на основе требований к масштабу"""
        recommendations = []
        
        if expected_models > 100:
            recommendations.append("Внедрить автоматизированный реестр моделей и управление жизненным циклом")
            recommendations.append("Использовать хранилище признаков для уменьшения избыточности")
        
        if expected_requests_per_sec > 1000:
            recommendations.append("Развертывать модели на Kubernetes с автоматическим масштабированием")
            recommendations.append("Внедрить уровень кэширования для частых прогнозов")
            recommendations.append("Использовать оптимизацию обслуживания моделей (TensorRT, ONNX)")
        
        return recommendations
    
    def estimate_costs(self, team_size, data_volume_tb, model_count):
        """Оценить затраты на инфраструктуру"""
        # Упрощенная оценка затрат
        costs = {
            'storage': data_volume_tb * 23,  # 23 долл. США/ТБ/месяц
            'compute_training': model_count * 500,  # 500 долл. США/модель/месяц
            'compute_serving': model_count * 200,  # 200 долл. США/модель/месяц
            'tools_licenses': team_size * 100,  # 100 долл. США/человек/месяц
        }
        costs['total'] = sum(costs.values())
        return costs

# Пример использования
platform = MLPlatformArchitecture()
recommendations = platform.design_for_scale(expected_models=150, expected_requests_per_sec=2000)
print("Рекомендации по архитектуре:")
for rec in recommendations:
    print(f"- {rec}")

costs = platform.estimate_costs(team_size=10, data_volume_tb=50, model_count=20)
print(f"\nПредполагаемые ежемесячные затраты: ${costs['total']:,.0f}")

import pandas as pd
import numpy as np

class ProjectPrioritization:
    def __init__(self):
        self.projects = []
    
    def add_project(self, name, business_value, feasibility, urgency, 
                   resource_requirement, strategic_alignment):
        """Добавить проект с критериями оценки"""
        project = {
            'name': name,
            'business_value': business_value,  # 1-10
            'feasibility': feasibility,  # 1-10
            'urgency': urgency,  # 1-10
            'resource_requirement': resource_requirement,  # 1-10 (чем ниже, тем лучше)
            'strategic_alignment': strategic_alignment  # 1-10
        }
        
        # Рассчитать оценку приоритета
        # Более высокая ценность для бизнеса, осуществимость, срочность и соответствие увеличивают оценку
        # Более высокое требование к ресурсам снижает оценку
        project['priority_score'] = (
            business_value * 0.3 +
            feasibility * 0.25 +
            urgency * 0.2 +
            strategic_alignment * 0.15 +
            (10 - resource_requirement) * 0.1
        )
        
        self.projects.append(project)
    
    def get_prioritized_projects(self):
        """Возвратить проекты, отсортированные по приоритету"""
        df = pd.DataFrame(self.projects)
        return df.sort_values('priority_score', ascending=False)
    
    def allocate_resources(self, available_capacity):
        """Распределить ресурсы на основе приоритета и мощности"""
        df = self.get_prioritized_projects()
        allocated = []
        remaining_capacity = available_capacity
        
        for _, project in df.iterrows():
            if project['resource_requirement'] <= remaining_capacity:
                allocated.append(project['name'])
                remaining_capacity -= project['resource_requirement']
        
        return {
            'allocated_projects': allocated,
            'capacity_used': available_capacity - remaining_capacity,
            'capacity_remaining': remaining_capacity
        }

# Пример использования
prioritizer = ProjectPrioritization()

# Добавить проекты
prioritizer.add_project(
    name='Прогнозирование оттока клиентов',
    business_value=9,
    feasibility=8,
    urgency=7,
    resource_requirement=5,
    strategic_alignment=9
)

prioritizer.add_project(
    name='Система рекомендаций',
    business_value=8,
    feasibility=6,
    urgency=5,
    resource_requirement=8,
    strategic_alignment=7
)

prioritizer.add_project(
    name='Обнаружение мошенничества',
    business_value=10,
    feasibility=7,
    urgency=9,
    resource_requirement=6,
    strategic_alignment=10
)

prioritizer.add_project(
    name='Прогнозирование спроса',
    business_value=7,
    feasibility=9,
    urgency=6,
    resource_requirement=4,
    strategic_alignment=6
)

# Получить список приоритетов
prioritized = prioritizer.get_prioritized_projects()
print("Приоритетные проекты:")
print(prioritized[['name', 'priority_score', 'business_value', 'feasibility']].to_string(index=False))

# Распределить ресурсы (предполагая 15 единиц мощности)
allocation = prioritizer.allocate_resources(available_capacity=15)
print(f"\nВыделенные проекты: {allocation['allocated_projects']}")
print(f"Использованная мощность: {allocation['capacity_used']}/15")

class StakeholderPresentation:
    def __init__(self, project_name, audience_type):
        self.project_name = project_name
        self.audience_type = audience_type
    
    def create_executive_summary(self, business_problem, solution, impact, timeline, investment):
        """Создать удобную для руководителей сводку"""
        summary = f"""
# {self.project_name}

## Бизнес-проблема
{business_problem}

## Предлагаемое решение
{solution}

## Ожидаемое воздействие
{impact}

## Сроки и инвестиции
- Сроки: {timeline}
- Необходимые инвестиции: {investment}

## Основные риски и смягчение последствий
- Качество данных: Внедрить конвейер проверки данных
- Точность модели: Установить базовые показатели и метрики успеха
- Принятие: Обучение пользователей и план управления изменениями
"""
        return summary
    
    def create_technical_analogy(self, ml_concept):
        """Создать нетехнические аналогии для концепций машинного обучения"""
        analogies = {
            'supervised_learning': "Как обучение ребенка с помощью карточек - мы показываем примеры с правильными ответами, пока он не выучит закономерность",
            'neural_network': "Как команда специалистов, каждый слой фокусируется на разных аспектах и передает информацию следующему",
            'overfitting': "Как запоминание ответов вместо понимания концепций - работает на практических тестах, но терпит неудачу на новых вопросах",
            'feature_engineering': "Как выбор правильных ингредиентов для рецепта - качество входных данных определяет качество выходных данных",
            'model_deployment': "Как запуск нового продукта - мы тщательно тестируем, постепенно развертываем и отслеживаем производительность"
        }
        return analogies.get(ml_concept, "Концепция не найдена")
    
    def quantify_business_impact(self, metric_name, baseline, predicted, confidence_interval):
        """Представить воздействие на бизнес с неопределенностью"""
        improvement = ((predicted - baseline) / baseline) * 100
        
        report = f"""
## Воздействие на бизнес: {metric_name}

- **Текущее состояние**: {baseline:,.0f}
- **Предсказанное состояние**: {predicted:,.0f}
- **Ожидаемое улучшение**: {improvement:.1f}%
- **Диапазон достоверности**: {confidence_interval[0]:.1f}% - {confidence_interval[1]:.1f}%

Это улучшение приводит к значительной ценности для бизнеса с учетом неопределенности модели.
"""
        return report

# Пример использования
presentation = StakeholderPresentation("Прогнозирование оттока клиентов", "Руководитель")

summary = presentation.create_executive_summary(
    business_problem="Потеря 15% клиентов в год, что обходится в 5 млн долл. США дохода",
    solution="Модель машинного обучения для прогнозирования риска оттока за 3 месяца, позволяющая активно удерживать клиентов",
    impact="Сокращение оттока на 20-30%, экономия 1-1,5 млн долл. США в год",
    timeline="3 месяца разработки, 1 месяц пилотного проекта, 2 месяца развертывания",
    investment="200 тыс. долл. США (время команды + инфраструктура)"
)

print(summary)

analogy = presentation.create_technical_analogy('overfitting')
print(f"\nАналогия переобучения: {analogy}")

impact = presentation.quantify_business_impact(
    metric_name="Коэффициент удержания клиентов",
    baseline=85,
    predicted=88,
    confidence_interval=(87.5, 88.5)
)
print(impact)

import numpy as np
from sklearn.metrics import confusion_matrix

class FairnessAuditor:
    def __init__(self, model, sensitive_attribute):
        self.model = model
        self.sensitive_attribute = sensitive_attribute
    
    def calculate_demographic_parity(self, X, y_pred, sensitive_feature):
        """Рассчитать разницу демографического паритета"""
        groups = np.unique(sensitive_feature)
        positive_rates = {}
        
        for group in groups:
            group_mask = sensitive_feature == group
            positive_rate = np.mean(y_pred[group_mask])
            positive_rates[group] = positive_rate
        
        max_rate = max(positive_rates.values())
        min_rate = min(positive_rates.values())
        parity_difference = max_rate - min_rate
        
        return {
            'positive_rates': positive_rates,
            'parity_difference': parity_difference,
            'is_fair': parity_difference < 0.1  # Порог 10%
        }
    
    def calculate_equal_opportunity(self, y_true, y_pred, sensitive_feature):
        """Рассчитать разницу равных возможностей (TPR по группам)"""
        groups = np.unique(sensitive_feature)
        tpr_by_group = {}
        
        for group in groups:
            group_mask = sensitive_feature == group
            y_true_group = y_true[group_mask]
            y_pred_group = y_pred[group_mask]
            
            # Истинно-положительный показатель
            tp = np.sum((y_true_group == 1) & (y_pred_group == 1))
            fn = np.sum((y_true_group == 1) & (y_pred_group == 0))
            tpr = tp / (tp + fn) if (tp + fn) > 0 else 0
            
            tpr_by_group[group] = tpr
        
        max_tpr = max(tpr_by_group.values())
        min_tpr = min(tpr_by_group.values())
        eo_difference = max_tpr - min_tpr
        
        return {
            'tpr_by_group': tpr_by_group,
            'equal_opportunity_difference': eo_difference,
            'is_fair': eo_difference < 0.1
        }
    
    def generate_fairness_report(self, X, y_true, y_pred, sensitive_feature):
        """Сгенерировать всеобъемлющий отчет о справедливости"""
        dp = self.calculate_demographic_parity(X, y_pred, sensitive_feature)
        eo = self.calculate_equal_opportunity(y_true, y_pred, sensitive_feature)
        
        report = f"""
# Отчет об аудите справедливости

## Демографический паритет
- Положительные показатели по группам: {dp['positive_rates']}
- Разница паритета: {dp['parity_difference']:.3f}
- Справедливо (< 0.1): {dp['is_fair']}

## Равные возможности
- TPR по группам: {eo['tpr_by_group']}
- Разница EO: {eo['equal_opportunity_difference']:.3f}
- Справедливо (< 0.1): {eo['is_fair']}

## Рекомендации
"""
        if not dp['is_fair']:
            report += "- Устранить проблемы демографического паритета путем передискретизации или корректировки порогового значения\n"
        if not eo['is_fair']:
            report += "- Устранить проблемы равных возможностей путем калибровки или ограничений справедливости\n"
        
        return report

# Пример использования
np.random.seed(42)
n_samples = 1000

# Смоделировать данные с предвзятостью
sensitive_feature = np.random.choice(['Группа A', 'Группа B'], n_samples, p=[0.7, 0.3])
y_true = np.random.randint(0, 2, n_samples)

# Смоделировать предвзятые прогнозы (группа B имеет более низкий положительный показатель)
y_pred = y_true.copy()
group_b_mask = sensitive_feature == 'Группа B'
y_pred[group_b_mask] = np.where(
    np.random.random(np.sum(group_b_mask)) < 0.3,
    1 - y_pred[group_b_mask],
    y_pred[group_b_mask]
)

auditor = FairnessAuditor(model=None, sensitive_attribute='group')
report = auditor.generate_fairness_report(None, y_true, y_pred, sensitive_feature)
print(report)

class DataScienceRoadmap:
    def __init__(self, company_name):
        self.company_name = company_name
        self.initiatives = {
            'quick_wins': [],
            'medium_term': [],
            'long_term': []
        }
        self.capabilities = []
    
    def add_initiative(self, name, timeline, business_value, dependencies, resources):
        """Добавить инициативу в дорожную карту"""
        initiative = {
            'name': name,
            'timeline': timeline,
            'business_value': business_value,
            'dependencies': dependencies,
            'resources': resources,
            'status': 'planned'
        }
        
        if timeline <= 6:
            self.initiatives['quick_wins'].append(initiative)
        elif timeline <= 12:
            self.initiatives['medium_term'].append(initiative)
        else:
            self.initiatives['long_term'].append(initiative)
    
    def add_capability(self, capability_name, current_level, target_level, timeline):
        """Добавить цель развития возможностей"""
        capability = {
            'name': capability_name,
            'current_level': current_level,  # 1-5
            'target_level': target_level,  # 1-5
            'timeline': timeline,
            'gap': target_level - current_level
        }
        self.capabilities.append(capability)
    
    def generate_roadmap_summary(self):
        """Сгенерировать сводку дорожной карты"""
        summary = f"""
# Дорожная карта науки о данных {self.company_name}

## Быстрые победы (0-6 месяцев)
"""
        for init in self.initiatives['quick_wins']:
            summary += f"- **{init['name']}**: {init['business_value']}\n"
        
        summary += "\n## Среднесрочные (6-12 месяцев)\n"
        for init in self.initiatives['medium_term']:
            summary += f"- **{init['name']}**: {init['business_value']}\n"
        
        summary += "\n## Долгосрочные (12+ месяцев)\n"
        for init in self.initiatives['long_term']:
            summary += f"- **{init['name