Cum se poate curba sau wget o pagină web?

Question

Cum se poate curba sau wget o pagină web?

Aș dori să fac o lucrare cronică de noapte, care aduce pagina de tip stackoverflow și o diferă de pagina din ziua precedentă, pentru a vedea un rezumat al întrebărilor, răspunsurilor, clasamentului etc.

Din păcate, nu am reușit să obțin setul corect de cookie-uri etc. pentru a face acest lucru. Vreo idee?

De asemenea, când beta-ul va fi terminat, pagina mea de stare va fi accesibilă fără să vă conectați?

0

adăugat 05 august 2008 la 11:38 autor Mark Harrison editat 08 mai 2012 la 07:27

fr zh hi bn

5 răspunsuri

autor Grant · Answer 1 · 1970-01-01T05:00Z

Pagina dvs. de stare este disponibilă acum, fără să vă conectați (faceți clic pe logout și încercați). Când modul beta-cookie este dezactivat, nu va exista nimic între dvs. și pagina de stare.

Pentru wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

autor Grant · Answer 2 · 1970-01-01T05:00Z

From Mark Harrison

Și iată ce funcționează ...

curl -s -cookie soba =. https://stackoverflow.com/users

Și pentru wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

autor Mark Harrison · Answer 3 · 1970-01-01T05:00Z

Și iată ce funcționează ...

curl -s --cookie soba=. http://stackoverflow.com/users

autor sparkes · Answer 4 · 1970-01-01T05:00Z

Buna idee :)

Presupun că ai folosit wget

--load-cookies (filename)

ar putea ajuta puțin, dar ar putea fi mai ușor să folosiți ceva de genul Mechanize (în Perl sau Python) pentru a imita mai mult un browser pentru a obține un păianjen bun.

autor Ryan Ahearn · Answer 5 · 1970-01-01T05:00Z

Nu puteam să-mi dau seama cum să obțină cookie-urile pentru a lucra, dar am reușit să ajung la pagina de stare în browser-ul meu în timp ce eram deconectat, deci presupun că acest lucru va funcționa odată ce stackoverflow va deveni public.

Aceasta este o idee interesantă, dar nu veți lua, de asemenea, diffs de codul HTML de bază? Aveți o strategie pentru a evita sfîrșitul cu difuzarea html-ului și nu a conținutului real?