PicoClaw Financev

Web scraping skill for LinkedIn job postings using public API endpoints. Extract job data without authentication.

LinkedIn Jobs Scraper Skill

Esta skill extrai vagas de emprego do LinkedIn usando a API pública não autenticada. Funciona em VPS sem navegador, apenas com requests + BeautifulSoup.

Busca rápida (título, empresa, local, URL) em segundos.
Detalhes completos (descrição, data) sob demanda por vaga.

⚠️ Avisos

• Legal: Scraping de dados públicos é legal nos EUA (hiQ v. LinkedIn, 2022), mas viola os ToS do LinkedIn
• Riscos: LinkedIn pode bloquear o IP se houver excesso de requisições
• Volume: Limite a <100 buscas/dia para uso pessoal
• Sem login: Nenhuma autenticação é usada

Uso via CLI

Busca rápida (padrão)

bash

python scraper.py --keywords "python developer" --location "Brazil" --limit 10

Busca com filtros

bash

python scraper.py \
  --keywords "data scientist" \
  --location "Brazil" \
  --remote only \
  --experience mid-senior \
  --job-type full-time \
  --posted last-week \
  --salary-min 80000 \
  --sort date \
  --limit 20 \
  --output jobs.csv

Uso via Python

python

from scraper import LinkedInJobsScraper

scraper = LinkedInJobsScraper()

# Busca rápida (retorna em segundos)
jobs = scraper.search_jobs(
    keywords="python developer",
    location="Brazil",
    remote="only",
    limit=25
)

# Cada job tem: title, company, location, url, job_id
for job in jobs:
    print(f"{job['title']} - {job['company']} - {job['location']}")

# Detalhes completos de uma vaga específica (1 request extra)
details = scraper.get_job_details(job_id="4413133140")
print(details['description'][:300])  # descrição completa
print(details['posted_date'])        # ex: "1 week ago"

Parâmetros

Parâmetro	Valores	Descrição
--keywords	texto	Título ou habilidade
--location	texto	Cidade, estado ou país
--remote	only, yes, no	Filtro remoto
--experience	internship, entry, associate, mid-senior, director, executive	Nível
--job-type	full-time, part-time, contract, temporary, internship	Tipo
--posted	last-24h, last-week, last-month, anytime	Data
--salary-min	número (USD)	Salário mínimo
--company	ID numérico	ID da empresa no LinkedIn
--industry	ID numérico	ID da indústria no LinkedIn
--sort	date, relevance	Ordenação
--limit	número (default: 25)	Máx. vagas
--output	arquivo .csv ou .json	Salvar resultados

Dados Retornados

Busca rápida (search_jobs)

json

{
  "title": "Python Engineer",
  "company": "Nortal",
  "location": "Greater Porto Alegre",
  "url": "https://br.linkedin.com/jobs/view/python-engineer...",
  "job_id": "4413133140"
}

Detalhes completos (get_job_details)

json

{
  "job_id": "4413133140",
  "title": "Python Engineer - Work from home",
  "company": "Nortal",
  "location": "Greater Porto Alegre",
  "posted_date": "1 week ago",
  "description": "Full job description text...",
  "employment_type": "Full-time",
  "seniority_level": "Mid-Senior level",
  "job_function": "Engineering",
  "industries": "Software Development"
}

Exemplos

bash

# Vagas Python remotas no Brasil
python scraper.py --keywords "python" --location "Brazil" --remote only --limit 10

# Vagas de Data Scientist sênior nesta semana
python scraper.py --keywords "data scientist" --location "United States" --experience mid-senior --posted last-week --limit 5 --output ds_jobs.json

# Vagas com salário mínimo de $100k na Google, ordenadas por data
python scraper.py --keywords "software engineer" --location "United States" --company 1441 --salary-min 100000 --sort date --limit 20

# Remoto na indústria de tecnologia (ID 4)
python scraper.py --keywords "developer" --location "Brazil" --remote only --industry 4 --limit 15

python

from scraper import LinkedInJobsScraper
import pandas as pd

scraper = LinkedInJobsScraper()

# Busca com salário mínimo e ordenação
jobs = scraper.search_jobs(
    "machine learning", "Europe",
    remote="yes",
    salary_min=80000,
    sort="date",
    limit=50
)

df = pd.DataFrame(jobs)
print(df['company'].value_counts().head(10))

Estrutura

text

linkedin-jobs-scraper/
├── SKILL.md
├── scraper.py
├── test_skill.py
├── __init__.py
├── clawhub.json
└── README.md

Dependências

bash

pip install requests beautifulsoup4

pandas é opcional (use se quiser analisar os dados).

Boas Práticas

• Delay de 2-5s entre requisições (automático)
• Máximo ~100 requisições/dia
• User-Agent rotacionado automaticamente
• Cache os resultados (dados públicos mudam pouco)
• Para descrições, chame get_job_details() só quando necessário