Как исправить, что страница не загружается полностью при page.goto() в Pyppeteer

Если вы используете код Pyppeteer, такой как await page.goto('https://www.techoverflow.net'), и страница не загружается полностью, т.е. выглядит как

тогда как должна выглядеть так

вы можете исправить это, используя опцию waitUntil в page.goto().

Как исправить

Используйте

await page.goto('https://www.techoverflow.net', {'waitUntil': 'networkidle2'})

в качестве отправной точки. В зависимости от программирования загружаемой страницы вам может потребоваться попробовать различные значения из доступных опций.

• load: Ожидает срабатывания события load.
• domcontentloaded: Ожидает срабатывания события DOMContentLoaded.
• networkidle0: Ожидает, пока не будет сетевых подключений как минимум 500 мс.
• networkidle2: Ожидает, пока не будет более 2 сетевых подключений как минимум 500 мс.

Обратите внимание, что есть и другие опции ожидания (например, ожидание появления определённого селектора), которые выходят за рамки этого поста, но networkidle2 — хорошая отправная точка для большинства страниц.