Perguntas de entrevista para Lead Data Scientist

# Exemplo: Sistema de rastreamento de mentoria
class MentorshipTracker:
    def __init__(self):
        self.mentees = {}
    
    def create_development_plan(self, mentee_name, current_level, target_level, timeline_months):
        """Cria plano de desenvolvimento individual"""
        plan = {
            'mentee': mentee_name,
            'current_level': current_level,
            'target_level': target_level,
            'timeline_months': timeline_months,
            'skills_to_develop': [],
            'projects': [],
            'milestones': [],
            'check_ins': []
        }
        self.mentees[mentee_name] = plan
        return plan
    
    def add_skill_goal(self, mentee_name, skill, current_proficiency, target_proficiency):
        """Adiciona meta de desenvolvimento de habilidade"""
        goal = {
            'skill': skill,
            'current': current_proficiency,
            'target': target_proficiency,
            'resources': [],
            'progress': 0
        }
        self.mentees[mentee_name]['skills_to_develop'].append(goal)
    
    def log_check_in(self, mentee_name, date, notes, progress_rating):
        """Registra check-in de mentoria"""
        check_in = {
            'date': date,
            'notes': notes,
            'progress_rating': progress_rating,
            'action_items': []
        }
        self.mentees[mentee_name]['check_ins'].append(check_in)
    
    def get_progress_summary(self, mentee_name):
        """Obtém resumo do progresso do mentorado"""
        plan = self.mentees[mentee_name]
        avg_progress = sum(s['progress'] for s in plan['skills_to_develop']) / len(plan['skills_to_develop'])
        return {
            'mentee': mentee_name,
            'overall_progress': avg_progress,
            'skills_in_progress': len([s for s in plan['skills_to_develop'] if 0 < s['progress'] < 100]),
            'skills_completed': len([s for s in plan['skills_to_develop'] if s['progress'] == 100]),
            'total_check_ins': len(plan['check_ins'])
        }

# Exemplo de uso
tracker = MentorshipTracker()
tracker.create_development_plan('Alice', 'Cientista de Dados Júnior', 'Cientista de Dados Nível Médio', 12)
tracker.add_skill_goal('Alice', 'Deep Learning', current_proficiency=2, target_proficiency=4)
tracker.add_skill_goal('Alice', 'Implantação de Modelo', current_proficiency=1, target_proficiency=3)
tracker.log_check_in('Alice', '2025-01-15', 'Concluiu o curso PyTorch', progress_rating=7)

summary = tracker.get_progress_summary('Alice')
print(f"Resumo do progresso: {summary}")

# Exemplo: Projeto de Arquitetura de Plataforma de ML
class MLPlatformArchitecture:
    def __init__(self):
        self.components = {
            'data_layer': {
                'data_lake': 'S3/GCS/Azure Blob',
                'data_warehouse': 'Snowflake/BigQuery/Redshift',
                'feature_store': 'Feast/Tecton',
                'data_catalog': 'DataHub/Amundsen'
            },
            'compute_layer': {
                'training': 'SageMaker/Vertex AI/AzureML',
                'batch_inference': 'Spark/Dask',
                'real_time_serving': 'Kubernetes/SageMaker Endpoints'
            },
            'ml_ops': {
                'experiment_tracking': 'MLflow/W&B',
                'model_registry': 'MLflow/SageMaker',
                'pipeline_orchestration': 'Airflow/Kubeflow',
                'monitoring': 'Prometheus/Grafana'
            },
            'governance': {
                'version_control': 'Git/DVC',
                'access_control': 'IAM/RBAC',
                'audit_logging': 'CloudTrail/StackDriver'
            }
        }
    
    def design_for_scale(self, expected_models, expected_requests_per_sec):
        """Projeta a arquitetura com base nos requisitos de escala"""
        recommendations = []
        
        if expected_models > 100:
            recommendations.append("Implemente o registro automatizado de modelos e o gerenciamento do ciclo de vida")
            recommendations.append("Use o feature store para reduzir a redundância")
        
        if expected_requests_per_sec > 1000:
            recommendations.append("Implante modelos no Kubernetes com auto-scaling")
            recommendations.append("Implemente a camada de cache para previsões frequentes")
            recommendations.append("Use a otimização do serviço de modelo (TensorRT, ONNX)")
        
        return recommendations
    
    def estimate_costs(self, team_size, data_volume_tb, model_count):
        """Estima os custos de infraestrutura"""
        # Estimativa de custo simplificada
        costs = {
            'storage': data_volume_tb * 23,  # $23/TB/mês
            'compute_training': model_count * 500,  # $500/modelo/mês
            'compute_serving': model_count * 200,  # $200/modelo/mês
            'tools_licenses': team_size * 100,  # $100/pessoa/mês
        }
        costs['total'] = sum(costs.values())
        return costs

# Exemplo de uso
platform = MLPlatformArchitecture()
recommendations = platform.design_for_scale(expected_models=150, expected_requests_per_sec=2000)
print("Recomendações de Arquitetura:")
for rec in recommendations:
    print(f"- {rec}")

costs = platform.estimate_costs(team_size=10, data_volume_tb=50, model_count=20)
print(f"\nCustos Mensais Estimados: ${costs['total']:,.0f}")

import pandas as pd
import numpy as np

class ProjectPrioritization:
    def __init__(self):
        self.projects = []
    
    def add_project(self, name, business_value, feasibility, urgency, 
                   resource_requirement, strategic_alignment):
        """Adiciona projeto com critérios de pontuação"""
        project = {
            'name': name,
            'business_value': business_value,  # 1-10
            'feasibility': feasibility,  # 1-10
            'urgency': urgency,  # 1-10
            'resource_requirement': resource_requirement,  # 1-10 (quanto menor, melhor)
            'strategic_alignment': strategic_alignment  # 1-10
        }
        
        # Calcula a pontuação de prioridade
        # Maior valor de negócios, viabilidade, urgência e alinhamento aumentam a pontuação
        # Maior exigência de recursos diminui a pontuação
        project['priority_score'] = (
            business_value * 0.3 +
            feasibility * 0.25 +
            urgency * 0.2 +
            strategic_alignment * 0.15 +
            (10 - resource_requirement) * 0.1
        )
        
        self.projects.append(project)
    
    def get_prioritized_projects(self):
        """Retorna projetos classificados por prioridade"""
        df = pd.DataFrame(self.projects)
        return df.sort_values('priority_score', ascending=False)
    
    def allocate_resources(self, available_capacity):
        """Aloca recursos com base na prioridade e capacidade"""
        df = self.get_prioritized_projects()
        allocated = []
        remaining_capacity = available_capacity
        
        for _, project in df.iterrows():
            if project['resource_requirement'] <= remaining_capacity:
                allocated.append(project['name'])
                remaining_capacity -= project['resource_requirement']
        
        return {
            'allocated_projects': allocated,
            'capacity_used': available_capacity - remaining_capacity,
            'capacity_remaining': remaining_capacity
        }

# Exemplo de uso
prioritizer = ProjectPrioritization()

# Adiciona projetos
prioritizer.add_project(
    name='Previsão de Churn de Clientes',
    business_value=9,
    feasibility=8,
    urgency=7,
    resource_requirement=5,
    strategic_alignment=9
)

prioritizer.add_project(
    name='Sistema de Recomendação',
    business_value=8,
    feasibility=6,
    urgency=5,
    resource_requirement=8,
    strategic_alignment=7
)

prioritizer.add_project(
    name='Detecção de Fraude',
    business_value=10,
    feasibility=7,
    urgency=9,
    resource_requirement=6,
    strategic_alignment=10
)

prioritizer.add_project(
    name='Previsão de Demanda',
    business_value=7,
    feasibility=9,
    urgency=6,
    resource_requirement=4,
    strategic_alignment=6
)

# Obtém a lista priorizada
prioritized = prioritizer.get_prioritized_projects()
print("Projetos Priorizados:")
print(prioritized[['name', 'priority_score', 'business_value', 'feasibility']].to_string(index=False))

# Aloca recursos (assumindo 15 unidades de capacidade)
allocation = prioritizer.allocate_resources(available_capacity=15)
print(f"\nProjetos Alocados: {allocation['allocated_projects']}")
print(f"Capacidade Usada: {allocation['capacity_used']}/15")

class StakeholderPresentation:
    def __init__(self, project_name, audience_type):
        self.project_name = project_name
        self.audience_type = audience_type
    
    def create_executive_summary(self, business_problem, solution, impact, timeline, investment):
        """Cria um resumo amigável para executivos"""
        summary = f"""
# {self.project_name}

## Problema de Negócios
{business_problem}

## Solução Proposta
{solution}

## Impacto Esperado
{impact}

## Cronograma e Investimento
- Cronograma: {timeline}
- Investimento Necessário: {investment}

## Principais Riscos e Mitigação
- Qualidade dos dados: Implementar pipeline de validação de dados
- Precisão do modelo: Estabelecer métricas de linha de base e sucesso
- Adoção: Treinamento do usuário e plano de gestão de mudanças
"""
        return summary
    
    def create_technical_analogy(self, ml_concept):
        """Cria analogias não técnicas para conceitos de ML"""
        analogies = {
            'supervised_learning': "Como ensinar uma criança com flashcards - mostramos exemplos com respostas corretas até que ela aprenda o padrão",
            'neural_network': "Como uma equipe de especialistas, cada camada se concentra em diferentes aspectos e passa informações para a próxima",
            'overfitting': "Como memorizar respostas em vez de entender conceitos - funciona em testes práticos, mas falha em novas perguntas",
            'feature_engineering': "Como escolher os ingredientes certos para uma receita - a qualidade das entradas determina a qualidade da saída",
            'model_deployment': "Como lançar um novo produto - testamos completamente, lançamos gradualmente e monitoramos o desempenho"
        }
        return analogies.get(ml_concept, "Conceito não encontrado")
    
    def quantify_business_impact(self, metric_name, baseline, predicted, confidence_interval):
        """Apresenta o impacto nos negócios com incerteza"""
        improvement = ((predicted - baseline) / baseline) * 100
        
        report = f"""
## Impacto nos Negócios: {metric_name}

- **Estado Atual**: {baseline:,.0f}
- **Estado Previsto**: {predicted:,.0f}
- **Melhora Esperada**: {improvement:.1f}%
- **Intervalo de Confiança**: {confidence_interval[0]:.1f}% a {confidence_interval[1]:.1f}%

Essa melhoria se traduz em um valor de negócios significativo, levando em consideração a incerteza do modelo.
"""
        return report

# Exemplo de uso
presentation = StakeholderPresentation("Previsão de Churn de Clientes", "Executivo")

summary = presentation.create_executive_summary(
    business_problem="Perder 15% dos clientes anualmente, custando $5 milhões em receita",
    solution="Modelo de ML para prever o risco de churn com 3 meses de antecedência, permitindo a retenção proativa",
    impact="Reduzir o churn em 20-30%, economizando $1-1,5 milhão anualmente",
    timeline="3 meses de desenvolvimento, 1 mês de piloto, 2 meses de lançamento",
    investment="$200 mil (tempo da equipe + infraestrutura)"
)

print(summary)

analogy = presentation.create_technical_analogy('overfitting')
print(f"\nAnalogia de Overfitting: {analogy}")

impact = presentation.quantify_business_impact(
    metric_name="Taxa de Retenção de Clientes",
    baseline=85,
    predicted=88,
    confidence_interval=(87.5, 88.5)
)
print(impact)

import numpy as np
from sklearn.metrics import confusion_matrix

class FairnessAuditor:
    def __init__(self, model, sensitive_attribute):
        self.model = model
        self.sensitive_attribute = sensitive_attribute
    
    def calculate_demographic_parity(self, X, y_pred, sensitive_feature):
        """Calcula a diferença de paridade demográfica"""
        groups = np.unique(sensitive_feature)
        positive_rates = {}
        
        for group in groups:
            group_mask = sensitive_feature == group
            positive_rate = np.mean(y_pred[group_mask])
            positive_rates[group] = positive_rate
        
        max_rate = max(positive_rates.values())
        min_rate = min(positive_rates.values())
        parity_difference = max_rate - min_rate
        
        return {
            'positive_rates': positive_rates,
            'parity_difference': parity_difference,
            'is_fair': parity_difference < 0.1  # Limiar de 10%
        }
    
    def calculate_equal_opportunity(self, y_true, y_pred, sensitive_feature):
        """Calcula a diferença de oportunidade igual (TPR entre grupos)"""
        groups = np.unique(sensitive_feature)
        tpr_by_group = {}
        
        for group in groups:
            group_mask = sensitive_feature == group
            y_true_group = y_true[group_mask]
            y_pred_group = y_pred[group_mask]
            
            # Taxa de Verdadeiros Positivos
            tp = np.sum((y_true_group == 1) & (y_pred_group == 1))
            fn = np.sum((y_true_group == 1) & (y_pred_group == 0))
            tpr = tp / (tp + fn) if (tp + fn) > 0 else 0
            
            tpr_by_group[group] = tpr
        
        max_tpr = max(tpr_by_group.values())
        min_tpr = min(tpr_by_group.values())
        eo_difference = max_tpr - min_tpr
        
        return {
            'tpr_by_group': tpr_by_group,
            'equal_opportunity_difference': eo_difference,
            'is_fair': eo_difference < 0.1
        }
    
    def generate_fairness_report(self, X, y_true, y_pred, sensitive_feature):
        """Gera relatório abrangente de imparcialidade"""
        dp = self.calculate_demographic_parity(X, y_pred, sensitive_feature)
        eo = self.calculate_equal_opportunity(y_true, y_pred, sensitive_feature)
        
        report = f"""
# Relatório de Auditoria de Imparcialidade

## Paridade Demográfica
- Taxas positivas por grupo: {dp['positive_rates']}
- Diferença de paridade: {dp['parity_difference']:.3f}
- Justo (< 0.1): {dp['is_fair']}

## Igualdade de Oportunidades
- TPR por grupo: {eo['tpr_by_group']}
- Diferença EO: {eo['equal_opportunity_difference']:.3f}
- Justo (< 0.1): {eo['is_fair']}

## Recomendações
"""
        if not dp['is_fair']:
            report += "- Aborde as questões de paridade demográfica por meio de reamostragem ou ajuste de limite\n"
        if not eo['is_fair']:
            report += "- Aborde as questões de igualdade de oportunidades por meio de calibração ou restrições de imparcialidade\n"
        
        return report

# Exemplo de uso
np.random.seed(42)
n_samples = 1000

# Simula dados com viés
sensitive_feature = np.random.choice(['Grupo A', 'Grupo B'], n_samples, p=[0.7, 0.3])
y_true = np.random.randint(0, 2, n_samples)

# Simula previsões tendenciosas (o Grupo B tem uma taxa positiva mais baixa)
y_pred = y_true.copy()
group_b_mask = sensitive_feature == 'Grupo B'
y_pred[group_b_mask] = np.where(
    np.random.random(np.sum(group_b_mask)) < 0.3,
    1 - y_pred[group_b_mask],
    y_pred[group_b_mask]
)

auditor = FairnessAuditor(model=None, sensitive_attribute='group')
report = auditor.generate_fairness_report(None, y_true, y_pred, sensitive_feature)
print(report)

class DataScienceRoadmap:
    def __init__(self, company_name):
        self.company_name = company_name
        self.initiatives = {
            'quick_wins': [],
            'medium_term': [],
            'long_term': []
        }
        self.capabilities = []
    
    def add_initiative(self, name, timeline, business_value, dependencies, resources):
        """Adiciona iniciativa ao roteiro"""
        initiative = {
            'name': name,
            'timeline': timeline,
            'business_value': business_value,
            'dependencies': dependencies,
            'resources': resources,
            'status': 'planejado'
        }
        
        if timeline <= 6:
            self.initiatives['quick_wins'].append(initiative)
        elif timeline <= 12:
            self.initiatives['medium_term'].append(initiative)
        else:
            self.initiatives['long_term'].append(initiative)
    
    def add_capability(self, capability_name, current_level, target_level, timeline):
        """Adiciona meta de desenvolvimento de capacidade"""
        capability = {
            'name': capability_name,
            'current_level': current_level,  # 1-5
            'target_level': target_level,  # 1-5
            'timeline': timeline,
            'gap': target_level - current_level
        }
        self.capabilities.append(capability)
    
    def generate_roadmap_summary(self):
        """Gera resumo do roteiro"""
        summary = f"""
# Roteiro de Ciência de Dados da {self.company_name}

## Quick Wins (0-6 meses)
"""
        for init in self.initiatives['quick_wins']:
            summary += f"- **{init['name']}**: {init['business_value']}\n"
        
        summary += "\n## Médio Prazo (6-12 meses)\n"
        for init in self.initiatives['medium_term']:
            summary += f"- **{init['name']}**: {init['business_value']}\n"
        
        summary += "\n## Longo Prazo (12+ meses)\n"
        for init in self.initiatives['long_term']:
            summary += f"- **{init['name']}**: {init['business_value']}\n"
        
        summary += "\n## Desenvolvimento de Capacidade\n"
        for cap in sorted(self.capabilities, key=lambda x: x['gap'], reverse=True):
            summary += f"- **{cap['name']}**: Nível {cap['current_level']} → {cap['target_level']} ({cap['timeline']} meses)\n"
        
        return summary

# Exemplo de uso
roadmap = DataScienceRoadmap("TechCorp")

# Adiciona quick wins
roadmap.add_initiative(
    name="Painel de Churn de Clientes",
    timeline=3,
    business_value="Visibilidade dos motivadores de churn, permite retenção proativa",
    dependencies=[],
    resources="1 DS, 1 analista"
)

# Adiciona iniciativas de médio prazo
roadmap.add_initiative(
    name="Motor de Personalização",
    timeline=9,
    business_value="Aumentar a conversão em 15%, melhorar a experiência do usuário",
    dependencies=["Feature store", "Framework de teste A/B"],
    resources="2 DS, 1 MLE"
)

# Adiciona iniciativas de longo prazo
roadmap.add_initiative(
    name="Sistema de Recomendação em Tempo Real",
    timeline=18,
    business_value="Personalização em tempo real, vantagem competitiva",
    dependencies=["Infraestrutura de streaming", "Plataforma de serviço de modelo"],
    resources="3 DS, 2 MLE, 1 DE"
)

# Adiciona capacidades
roadmap.add_capability("Maturidade MLOps", current_level=2, target_level=4, timeline=12)
roadmap.add_capability("ML em Tempo Real", current_level=1, target_level=3, timeline=18)
roadmap.add_capability("Capacidades de NLP", current_level=2, target_level=4, timeline=15)

print(roadmap.generate_roadmap_summary())