Vă mulțumim pentru susținere

Cum se poate curba sau wget o pagină web?

Aș dori să fac o lucrare cronică de noapte, care aduce pagina de tip stackoverflow și o diferă de pagina din ziua precedentă, pentru a vedea un rezumat al întrebărilor, răspunsurilor, clasamentului etc.

Din păcate, nu am reușit să obțin setul corect de cookie-uri etc. pentru a face acest lucru. Vreo idee?

De asemenea, când beta-ul va fi terminat, pagina mea de stare va fi accesibilă fără să vă conectați?

0
adăugat editat

5 răspunsuri

Pagina dvs. de stare este disponibilă acum, fără să vă conectați (faceți clic pe logout și încercați). Când modul beta-cookie este dezactivat, nu va exista nimic între dvs. și pagina de stare.

Pentru wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
0
adăugat

From Mark Harrison

Și iată ce funcționează ...

     

curl -s -cookie soba =. https://stackoverflow.com/users

Și pentru wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
0
adăugat

Și iată ce funcționează ...

curl -s --cookie soba=. http://stackoverflow.com/users
0
adăugat

Buna idee :)

Presupun că ai folosit wget

--load-cookies (filename)

ar putea ajuta puțin, dar ar putea fi mai ușor să folosiți ceva de genul Mechanize (în Perl sau Python) pentru a imita mai mult un browser pentru a obține un păianjen bun.

0
adăugat

Nu puteam să-mi dau seama cum să obțină cookie-urile pentru a lucra, dar am reușit să ajung la pagina de stare în browser-ul meu în timp ce eram deconectat, deci presupun că acest lucru va funcționa odată ce stackoverflow va deveni public.

Aceasta este o idee interesantă, dar nu veți lua, de asemenea, diffs de codul HTML de bază? Aveți o strategie pentru a evita sfîrșitul cu difuzarea html-ului și nu a conținutului real?

0
adăugat
Dacă aș fi avut timp, aș face un script (sau ceva mai bun?), Scriptul Supă frumoasă pentru a scapa datele frumos, dar deocamdata imi scriu liniile de text de care am nevoie.
adăugat autor Mark Harrison