stleon/OmgSite — pull request #3 by idoziru (2014-02-12 16:58:49+00:00)
Title: clean domen after /

.re to clean domain after /

code for testing

import re

clean_url = re.compile(r'(?:http[s]?)?:?(?:)?(?:/){0,2}([\w-]*.[\w-]*)')
site = []
site.append('http://werwer.ru')
site.append('https://wfsdf.ru')
site.append('https://wfsdf.ru/sdfsdf')
site.append('https://wfsdf.ru/sdfsdf.ru')
site.append('http://wfsdf.ru/sdfsdf.ru')
site.append('://wfsdf.ru/sdfsdf.ru')
site.append('//wfsdf.ru/sdfsdf')
site.append('/wfsdf.ru/sdfsdf')
site.append('/wfsdf.ru/sdfsdf.ru')
site.append('/яндекс.рф/sdfsdf.ru')
site.append('http://yandex.ru/яндекс/sdfsdf.ru')
site.append('yandex.ru/яндекс/sdfsdf.ru')
site.append('yandex/яндекс/sdfsdf.ru')
site.append('http://yandex/яндекс/sdfsdf.ru')
site.append('https://yandex/яндекс/sdfsdf.ru')
site.append('https://wfsdf.ru/sdfsdf/index.html')

for url in site:
print(re.search(clean_url, url).group(1))