Expresie regulată pentru parsarea unor linkuri dintr-o pagină web?

din biblioteca RegexBuddy:

URL: Găsiți în textul complet

Clasa de caractere finală vă asigură că dacă o adresă URL face parte dintr-un anumit text, punctuația, cum ar fi o virgulă sau o oprire completă, după ce adresa URL nu este interpretată ca parte a URL-ului.

\b(https?|ftp|file)://[[email protected]#/%?=~_|!:,.;]*[[email protected]#/%=~_|]

URL-ul lui? Ca și în imagini / script-uri / CSS / etc?

% href = "(. ["] *) "%

Toate HTTP-urile și MAILTO-urile

(["'])(mailto:|http:).*?\1

Toate linkurile, inclusiv cele relative, care sunt numite de href sau src.

#Matches things in single or double quotes, but not the quotes themselves
(?<=(["']))((?<=href=['"])|(?<=src=['"])).*?(?=\1)

#Maches thing in either double or single quotes, including the quotes.
(["'])((?<=href=")|(?<=src=")).*?\1

Cel de-al doilea va obține doar link-uri care utilizează citate duble, totuși.

Nu am timp să încerc să mă gândesc la un regex care probabil că nu va funcționa, dar am vrut să vă spun că ar trebui să vă distrugeți cu siguranță regex-ul, cel puțin dacă ajunge la acest nivel de urât :

(?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t]
)+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:
\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(
?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ 
\t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\0
....*SNIP*....
*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])
+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\
.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z
|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:(
?:\r\n)?[ \t])*))*)?;\s*)

(se presupune că se potrivește cu adresele de e-mail)

Editează: Nu pot chiar să se potrivească la un post este atât de urât ....

((mailto\:|(news|(ht|f)tp(s?))\://){1}\S+)

I took this from regexlib.com

[nota editorului: {1} nu are nici o funcție reală în acest regex; vezi acest post ]

Cu ajutorul Html Agility Pack , puteți utiliza:

HtmlDocument doc = new HtmlDocument();
doc.Load("file.htm");
foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//[email protected]")
{
Response.Write(link["href"].Value;
}
doc.Save("file.htm");

Uită-te la caietul de sarcini URI. Asta te-ar putea ajuta foarte mult. Și în ceea ce privește performanța, puteți extrage destul de mult toate legăturile HTTP într-o pagină web modestă. Când spun modest, cu siguranță nu înseamnă o pagină care cuprinde toate manualele HTML, cum ar fi manualul ELisp. De asemenea, performanța este un subiect sensibil. Sfatul meu ar fi să vă măsurați performanța și apoi să decideți dacă doriți să extrageți toate linkurile utilizând o singură regex sau cu mai multe expresii simple mai simple.

http://gbiv.com/protocols/uri/rfc/rfc3986.html

Acest lucru va capta URL-uri de la toate etichetele, atâta timp cât autorul citate HTML utilizate:

]+href="([^"]+)"[^>]*>

Am făcut un exemplu aici .

according to http://tools.ietf.org/html/rfc3986

extragerea urlului din orice text (nu numai HTML)

(http\\://[:/?#\\[\\]@!%$&'()*+,;=a-zA-Z0-9._\\-~]+)