Ценителям поэзии

Есть в рунете замечательный сайт - www.stihi.ru, на котором помимо графоманов довольно много и интересных, хороших авторов. Если какой-то автор вам особенно понравился, то все его стихи выкачать и аккуратно сложить по папочкам (в соответствии с классификацией автора) можно с помощью такого кода на Common Lisp:

(defun load-poem (url dir &key verbose)
  (html:with-parse-html (page url :encoding "cp1251")
    (let* ((index (xpath:find-single-node page "/html/body/index"))
           (title (xpath:find-string index "h1")))
    (when verbose
      (format t "Load ~A (~A)~%" url title))
    (with-open-file (out (make-pathname :directory (pathname-directory dir)
                                        :name title
                                        :type "txt")
                         :direction :output :if-exists :supersede)
      (iter (for br in (xpath:find-list index "div[@class='text']/br"))
            (write-line (string-trim #(#\Newline)
                                     (xtree:text-content (xtree:prev-sibling br)))
                        out))))))
                 
(defun load-all-poems (url target &key verbose (recursive t))
  (ensure-directories-exist target)
  (html:with-parse-html (page url :encoding "cp1251")
    (iter (for node in (xpath:find-list page "//ul/li/a"))
          (load-poem (puri:merge-uris (puri:parse-uri (xtree:attribute-value node "href"))
                                      url)
                     target
                     :verbose verbose))
    (when recursive
      (iter (for node in (xpath:find-list page "//div[@id='bookheader']/a"))
            (let ((title (xtree:text-content node)))
              (when verbose
                (format t "~%Load book ~A~%" title))
              (load-from-stihiru (puri:merge-uris (puri:parse-uri (xtree:attribute-value node "href"))
                                                  url)
                                 (merge-pathnames (make-pathname :directory (list :relative title))
                                                  target)
                                 :recursive nil
                                 :verbose verbose))))))

Выделение содержательной части из html-страниц весьма тривиально и реализуется за счёт использования языка запросов XPath. Теперь скачать, например, все стихи моей жены можно таким вызовом:

(load-all-poems #U"http://www.stihi.ru/avtor/mari_mishon"
                #P"/var/kubart/poems/"

При написании данного кода я обнаружил, что libxml2 не может правильно определить кодировку страниц стихиры, так что пришлось несколько доработать cl-libxml2, добавив возможность явно указывать кодировку html-страниц.