niedziela, 18 września 2011

How to secure your webpage with lighttpd mod_auth

Here's the setup:
There's a web page served by lighttpd by my OpenWRT router. Unfortunately the content shouldn't be available for everyone. Here's the solution:

  1. Install mod_auth

    You can do it with:

    opkg install lighttpd-mod-auth
  2. Create password file
    I first used plain authentication just to see if it's that easy as it's written in documentation. It turned out it is! Better solution is to use htdigest. You just need to create a file that looks like this:
    user1:realm:passwordhash
    user2:realm:passwordhash
    user3:another realm:passwordhash
    Realm is a name of a section of your website that you declare in configuration file. I just use one realm called "download", because I don't need anything more at the moment.
    Password hash is md5 sum calculated from a following string:
    username:realm:password
    e. g. john:website:qwerty would result in hash: 329516de44fe7cf1216194bb02348284.
    Entry in the password file would look like this:
    john:website:329516de44fe7cf1216194bb02348284

    Put your file somewhere where it's not accessible from outside of your server. You don't want anyone to be able to download this file and get to know all users' passwords.
  3. Update configuration
    Uncomment mod_auth in server.modules, for example:
    server.modules = (
    #       "mod_rewrite",
            "mod_redirect",
            "mod_alias",
            "mod_auth",
    #       "mod_status",
    #       "mod_setenv",
    #       "mod_fastcgi",
    #       "mod_proxy",
    #       "mod_simple_vhost",
    #       "mod_cgi",
    #       "mod_ssi",
    #       "mod_usertrack",
    #       "mod_expire",
    #       "mod_webdav"
    )

    Then add this somewhere down the line:
    ## AUTH
    auth.debug = 0
    auth.backend = "htdigest"
    auth.backend.htdigest.userfile = "/path/to/your/file/called/for/example/htdigest.user"
    
    When you want to secure access to your website with a password add:
    auth.require = ( "" =>
                            (
                                    "method" => "digest",
                                    "realm" => "website",
                                    "require" => "valid-user"
                            )
                           )
    
  4. Restart lighttpd
    You can do it with:
    /etc/init.d/lighttpd restart

Now try to access your webpage. You should be greeted with a dialogbox asking for user name and password. In case it's not working increase debug level to 1 or 2 and check out /var/log/lighttpd/error.log to find out what's wrong. Maybe wrong file name, file permissions or password hash? Good luck.

środa, 6 kwietnia 2011

Automatyczne pobieranie na napisów na OpenWRT

Opis

Poniższa instrukcja opisuje w jaki sposób zaplanować automatyczne poszukiwanie napisów dla filmów i odcinków seriali na routerze z systemem OpenWRT w wersji Backfire 10.03.

Instalacja

Potrzebny będzie pakiet napiprojekt, który znajduje się tutaj: napiprojekt. Instalacja następuje za pomocą:

opkg install http://eko.one.pl/openwrt/backfire/10.03/napiprojekt_6_ar71xx.ipk
Opkg zainstaluje potrzebne zależności z wyjątkiem p7zip, który można dostać stąd: p7zip. Instalujemy go podobnie:
opkg install http://ecco.selfip.net/backfire/packages/p7zip_9.13-3_ar71xx.ipk

Skrypt

Tworzymy nowy skrypt wydając polecenie:
nano /usr/bin/napisy.sh
Dzięki umieszczeniu w katalogu /usr/bin, który znajduje się w zmiennej środowiskowej $PATH, plik będzie można uruchomić z dowolnego miejsca w systemie. Następnie w treści pliku powinno znaleźć się:
#!/bin/sh
# Przejrzyj po kolei wymienione katalogi
for katalog in /srv/filmy /srv/seriale
do
 # Znajdz wszystkie pliki avi, wypisz pelna sciezke: "1 linia = 1 plik", wczytuj po jednej linii do zmiennej
 # Uzycie read zabezpiecza przed sytuacją w której w nazwie pliku występują spacje
 find $katalog -name "*.avi" | while read plik_z_filmem
 do
  # Zamien rozszerzenie avi na txt, zeby utworzyc nazwe pliku z napisami do danego filmu
  # Otaczamy nazwe zmiennej cudzyslowem na wypadek gdyby nazwa pliku zawierala spacje
  plik_z_napisami=$(dirname "$plik_z_filmem")/$(basename "$plik_z_filmem" .avi).txt
  # Jesli nie istnieje plik z napisami
  if [ ! -e "$plik_z_napisami" ]
  then
   # Szukaj napisow dla danego pliku
   napiprojekt "$plik_z_filmem"
  fi
 done
done
Plikowi należy nadać pozwolenie na wykonywanie:
chmod +x /usr/bin/napisy.sh

Cron

Dzięki temu, że skrypt pomija filmy i odcinki dla których już ściągnął napisy, można spokojnie zaplanować jego cogodzinne wykonywanie. W tym celu należy dodać następującą linijkę do pliku /etc/crontabs/root:
* */1 * * * napisy.sh
Przystępne wyjaśnienie i wygodny "kalkulator" dla crona można znaleźć na http://eko.one.pl/?p=openwrt-cron

poniedziałek, 21 marca 2011

Kalendarz Pyrkon 2011

Calendar

Code

This code helped me to automate most of the work. Last year I used gdata directly, but this year I got so frustrated that I decided I need something simpler. The tradeoff is that the events are not described in details as they used to be. This year I'm not making a mistake of not keeping the code, so here it is. There are basically three steps:
  1. Scrape the website to gather information
  2. Build a shell command to call googlecl - google command line interface that provides some ability to use Google services from command line.
  3. Run the command in the terminal. Keep retrying if it failed for any reason.
There were some issues:
  • Doubled entries that migrated from calendar "Naukowa 2" to "Naukowa", but showed up in their proper place too.
  • Sometimes starting times where off by an hour or two. For example by 1 hour on Friday, 1 hour on Saturday, 2 hours on Sunday. WTF? I noticed it happened on calendars that have numbers in their names, but most of them do, so I might be just imagining it.
  • Some problems with encoding. I could never understand when I need to decode/encode a string.
#!/usr/bin/python
# -*- coding:utf8 -*-

from BeautifulSoup import BeautifulSoup
import urllib2
import re
import subprocess

# Download the page
# You may want to save the page in the browser and use a local copy
# for example: 'file:///home/daniel/Pobrane/pyrkon.html'
page = urllib2.urlopen('http://www.pyrkon.pl/2011/index.php?go2=program')
soup = BeautifulSoup(page)

# Find div with the content
content = soup.find('div', id='content')
# Get all his children which are divs too
divs = content.findAll('div')

# Set starting index in case you wanted to start in the middle after some interruption
start_from = 0
i = 0
l = len(divs) - start_from

for div in divs[start_from:]:
 # Name and lecturer are easy
 tytul = div.contents[1].b.string
 prowadzacy = div.contents[1].i.string
 # I can never understand when I need to decode/encode from/to utf-8.
 # This was done by trial and error.
 
 # Madafaking new lines are contents too, so
 #  div.contents[2] == u'\n'
 
 # Place
 miejsce = re.search('^<b>miejsce: </b>(?P<miejsce>.+?)<br />', div.contents[3].renderContents(), re.M).group('miejsce')
 miejsce = miejsce.decode('utf-8')

 # Show some progress information
 i += 1
 print '[%d/%d] %s: %s' % (i, l, miejsce, tytul)

 # Event start time
 czas = re.search('^<b>termin: </b> (?P<dzien>pią|sob|nd)(\s*)(?P<godzina>\d{2}):(?P<minuta>\d{2})', div.contents[3].renderContents(), re.M)
 dzien, godzina, minuta = czas.group('dzien', 'godzina', 'minuta')
 godzina = int(godzina)
 minuta = int(minuta)
 
 # Conversion from name of the day to number of the day
 if dzien == 'pią':
  dzien = 25
 elif dzien == 'sob':
  dzien = 26
 elif dzien == 'nd':
  dzien = 27
 else:
  raise ValueError('Błędny dzień')
 
 # How long it lasts
 dlugosc = re.search('^<b>czas trwania: </b>(?P<godzin>\d+):(?P<minut>\d{2}) h<br />', div.contents[3].renderContents(), re.M)
 godzin, minut = dlugosc.group('godzin', 'minut')
 godzin = int(godzin)
 minut = int(minut)
 
 # Build shell command for googlecl - google command line interface (available at code.google.com)
 # uses "Quick Add" syntax
 polecenie = '''google calendar add --cal='%s' '%s - %s on %d/03/2011 %d:%02d for %d minutes in %s' ''' % (miejsce, tytul, prowadzacy, dzien, godzina, minuta, godzin * 60 + minut, miejsce)

 # Keep calling shell command until it succeeds
 # Sometimes it throws gdata.service.RequestError with status 302 and reason 'Redirect received, but redirects_remaining <= 0'
 return_code = 1
 while return_code != 0:
  print polecenie
  return_code = subprocess.call(polecenie, shell=True)

poniedziałek, 21 lutego 2011

"97 things every programmer should know" is going to be translated to Polish

I volunteered to help translating "97 things programmers should know". Here's our progress: You can find it at 97rzeczy.devblogi.pl