sitemap: support for draft, levels and templates

Adding support for using article status attribute to indicate
if a document is just a draft. Adding the article attribute
userlevel to create 5 access levels. Access control is not
implemented but the differen sites can be uploaded to different
areas which is protected by for example apache access.
This makes sure that one content source is used for each site.

Adding template support by using the article attribute role to
select the style template to generate the page.

image: improving xmp support

Adding some new support for writing resized files, pusing the
caption to thouse files. Returning if False if xmp is missing.

table: adding link support in simple tables

The code cans for special patterns that can be urls or addresses with email.
It convert thouse parts to active docbook links that in turn gets translated
into real html links when the site is published.

include; table - better character support

adding codecs to table parsing, enabling utf-8 support

sitemap/resource: adding minus in path, adding video

Adding minus - in the path parsing
Adding support for video, collecting and uploading video

photoalbum: rewote to use the image object

Utilizing the image transformation code in the image class
to deal with generating the phonoalbum instead of having
two implementations transforming files.

tools: adding error and warning calls

Adding calls to error and warning to simplify error reporting
to standard error.

docbook: expand image objects per page

Introducing expanded docbook parts for images. Captions are
read from the image file and the image file is appropriately
resized.

image: improve image handling, caption, resize

Files being resized are marked as resized by treecutter.
Captions are read from the xmp description.

xinclude: photoalbum caption and gallery

Adding the caption listed in description. Generating
a gallery that then also can be used by the stylesheets.

sitemap: adding sizecalculation

With large projects it is good to know the size to be uploaded.
This does not yet take into accoun the style files resources.

page: template added instead of style

Adding the parsed template into page instead of just the pointer to style.

page: using lxml transform, simple docbook & image

Switching from external call to use the internal lxml xslt transform.
Creating a class for docbook and image to separate out
docbook specific code and image specific code.

path: adding suport for a site in a subdir

This was added to support referencing css etc in a example.com/subdir
setting. Creating different sites within a site.

path: adding support for . in directoies

This was done as directories with : were not allowed
in Windows, and switching to . caused problems with the links relying
on the index.langcode.xml format.

const: adding xml namespace

Adding the XML namespace http://www.w3.org/XML/1998/namespace

style: switching to xhtml5 and sass

Switching the template to be a xhtml5 template and start using
sass in the css composition.
With separate template it will also be possible to do pdf print pages.

filesystem: fixing utf-8 issues switching to jinja

Switching to work fully with utf-8 files also for the sitemap.txt
Switching to template engine jinja2 for better unicode support.
Templates has to be refreshed.

trie: fixed xhtml generation

Added missing closure of </li>.

style: improve the simple template address style

Simple adjustments to block and whitespace to improve
address presentation.

xinclude: added pic and latests plugins

pic includes several versions of the image and scales it accordingly
latests creates a list of the latest X articles with images if availible

page: added a warning for missing resources

When a picture or resource is missing treecutter issues a simple
warning.

Added subdir argument, cleaned up arg handling

Added the subdir argument to allow to put a treecutter site on
a deeper level than just www.example.org/ now also
www.example.org/subdir can be used.

Argument handling was changed so that sitemap gets all arguments in
its constructor as it deals the arguments at different stages.
All arguments are handed to sitemap that then distribute the needed
arguments.

page: added ability to encrypt linktargets

Links with attribute 'security'=='encrypt' will be encrypted
with gpg using symetric key. This to ease sharing of sensitive
documents.

style: adding a very simple style

Adding a simple but elegant style for websites with only articles
and no need for flashy menues or language menues

xinclude: First attempt at a photoalbum

menues: Fixed non-ascii char in locale strings

README: added a simple readme with disclaimer

License has not yet been picked. If there is any interest in the project
feedback would be interesting.

tools: fixed problem with local test

The ssh_cmd needed a host to do the command, but for local tests
a host is not availible. Test for host and if not availible run locally.
rsync does not need that check.

sitemap: removing language menu namespace

Removing language menu generation namespace.
It is not needed as it is in html, and namespace confuses and invalidates
the html in the browser, maybe since the attributes were not namespaced.

xml: change from amara to lxml

changed xml processing from amara to lxml, mainly due to that lxml is
more actively maintained and availible in distributions.
Some html generation was also changed to lxml, there the namespace could
cause some problems (language menu).

page.py: added import re

import re was missing and re was used for a regular expression.

address.py: changed update check of address string

If nominatim data does not exists (eg postcode is not there, but boundary or vice
versa) then the old code failed with NoneType object.
This addresses this but is not optimal.
Current tests works with the sites, so using this solution for now.

reprepro: presents & generates a Debian repository

Added a new script that presents and generates a Debian repository
for the selected reprepro. It generates links that then assures that
the files also gets moved to the correct location.

address: geocode language, objects for mapimages

Added a accept-language header to the nominatim requests.
Started to use Coord objects in mapimages, but still need more work.

sitemap: comments, getcwd removed

Aded more comments to the code, and removed a cwd readout.

main: changes to time, commments

Changed time.time() to time() by importing from time import time
instead. Added some comments, can be improved.

Adding table generation from simple textfile

Original idea stems from dependencies.py in a site which organized a table
from a formated textfile. At the time just from the body of the table.
This version can have a labeled header row in the begining and entries
that are links, with or without title. Title is denoted httplink|title.
For extra text more work is needed. Can only do one word titles for now.

Failed lookup does not fail, just do not generate Coords.

A failed lookup used to fail with an error message. That in turn,
disturbs treecutter. Now if Coordinates are not found a Coord element
is not generated. The None values in the Address are converted to ''
or filled by a successful geocode.
Functions c and s needs refining. Empty elements are kept or
destroyed with the clean_db function.

clean_db function can clean code to become invalid xml so
use carefully. clean_db and the s/c functions will have
to be put in a docbook/lxml module at some point.

Enable geolocation of address, adding sorting.

Enabled addition of Organization with Address from the Location field.
This information is geocoded and if found displayed.

Sorting was added to sort event objects, change from the earlier
list of event dictionaries.
Pretty printing turne off not to preformat docbook addresses.

Creating objects, switching to lxml, made main callable

Rewrote to use objects for Events and Event.
db_xml generation with lxml.
commandline callable using the __main__ setup

Contact as Person and Organization object, callable using lxml

The contact processing was rewrited to objects, using lxml for
xml generation. It is also callable from the commandline.
One difficulty is with assigning vCard data to the correct object.
Ex, a telephone number to an address or person.
Currently works well enough to be used in non trivial sites.

Objectified Coord and Address methods, made it main callable

Rewrote the classes to use internal data for their methods, fixed sizing
of the png images (made the size really settable).
Geocoding does try several times with different strings before failing.
Address is also now directly callable for simple addresses, without
contact.

Renaming calendar to events due to naming collision in vobject.

Switching to ElementMaker from Element/SubElement

Adding the lxml docbook namespaces.

Refactoring const to constants, to provide for lxml docbook namespaces.

Adding an initial calendar implementation.

This calendar was developed in another git to begin with.
It worked for displaying a calendar from apple calendar server.
This will be a base for a rewrite.

Adding distance calculation to the Coord class

Starting to refactoring the part for plotting muliple coords.

Adding docbook namespaces again

Refactoring later to move docbook xml generation to a helper class.

Adding classes Address and Coord, moving functions into the classes.

Creating two classes to deal with Coorinates and Addresses.
An address has a coordinate but a coordinate can also be used
by it self. Some helper functions were also moved from contact
as a contact also has addresses and coordinates.

Removing StaticOpenStreetMap building real addresses

Instead of concentrating on OpenStreetMap we rebuild the class
to do addresses with coordinates and the occational picture if needed.

Renaming addr to a more proper name, will be used to do all address tasks.

Adding fonts directory to resources.

This is to include fonts to a site, puting the fonts in a separate
directory than the css.

Display xpointer details to simplify debugging.

If there are several xincludes in a document and several
translations it is hard to find the xinclude call that failed.
Priting the xpointer helps localize the problem.

Initial code to build static images from addresses.

This code was developed over time, for the contact.py images.
Parts of it might be replaced by pythonstructures and it migth move
to a separate package if useful.

Fixing UTF-8 encoding for the foreign texts and characters.

Fixing whitespaces for the docbook address.

This is just to properly format the information in the html display.
Could probably be solved elsewhere.

Switching to address based map generation. Divided to subroutines.

The generation was geo: tag based but as there is only one tag per
vcard I switched to address lookup instead.
There are problems with CZ village addresses, and some missing
address tags that has to be added to openstreetmap, but it is a
better longterm solution.

Changed time to be imported and made xinclude execute in the correct directory.

Adding a opening hours parser, creates a table from a simple string, with translations

Adding initial xinclude for converting selected VCARD to docbook.

Currently reading a VCARDs file, selecting a VCARD based on the
commandline query, and converts it to docbook.
Initial tests with a few VCARDs work. If an address has 2 telephone
numbers, currently only the first is displayed.
If there is only a telephone number and no address, it will not
be displayed in this version.

Removing debug printout.

Adding initial plugin support for xincludes in documents

Using the pkg_resources to package xinclude scripts that can be
generaly usable. Initial tests works and once more scripts are
adapted they will be added.

Fixing the def main function, properly calling it from treecutter.

There are several ways to do this in python and it can be that
it has to be redone. seems to work for now.

Adding initial bin/treecutter, and setup.py and package files.

Refactoring, using const, removing global variables, passing some new arguments.

This phase was to clean up the use of output and style in several places.
Now passed as arguments to the sections where it is needed.
Tempfile creation also localized.

Refactoring, cleaining up imports, setting filemode

Refactoring out every class into separate files. main,tools and const are not classes.

Preparing refactoring the single source into a python structure

Initial support for providing command line arguments to scripts via xpointer.

Accept-Language is also used to provide the script with the wanted language.
For calendar server in first line. For example the language of the country tag.
Roads and telephone numbers are pretty language independant, but country names not.
There might be other tags as well that has different value per language.
The xpointer is "abused" to provide a pointer into the run script.

Adding omit_xml_declaration=True to amara call, but does not yet work, considering to move to lxml or similar.

Added missing ) to ssh_cmd call

Adding target directory and readability with ssh_cmd

Making sure that the target directory exists and that it is
readable after rsync. ssh_cmd added to simplify the call, but is
currently limited to commands with two arguments plus directory.
Can be generalized. subroutine call used to not need to add extra
dependencies at this point.

Adding initial support for html forms.

Chaning & to xml representation.

Adding docbook.xsl for tree-cutter processing

Converting the template to work with tree-cutter, adjusting paths, adding template variables.

Moving css files to a subdirectory, renaming index.html to template file.

Change execute permission on index.html and style.html

Reindent css and convert from DOS format to unix format.

Reindent html and convert from DOS format to unix format.

Added template from freehtml5templates.com/awesomesauce-html5-and-css3-template/

Removed the initial version of tree-cutter.py after refactoring to use objects.

Added total timings.
The removed part has not been in use for quite some time and this was the final cleanup.

Using translated cheetah templates, allowing - in filenames.

Adding shutil for the copying.

Fixing sitemap generation, language menus and resource copying.

Adding a css mark for the top menu.

Fixing script execution path for current directory, fixing missing page printout.

Adding initial language menu support. Adding method lang_menu. Changing templates.

Link needs to be properly intergrated to the html href, translation
started earlier in sitemap and saved per language.
'en' special case as it is the original language of iso_639_3.xml

Updating templates with a Language menu item instead of a Level name
Levelname can be maintained in the template, translations are dynamic
as more pages in other languages gets created.

Problems will arrise when a language page is missing. This is first tests.. :)

Fixing missed namechange of variable.

Added total timing to compare old for loop to Sitemap process method.

Adding method process and publish to mimic the old scripts stages to publish.

Timing added to make sure that the Sitemap class is not slower.

Adding method to write a sitemap.txt and writing it when something changed.

missing & removed sets controll if we need a new sitemap.txt

Adding gen_menu method also in Sitemap.

Implementing generation of a menu, currently only the full menu with and without Page marker.

Fixing the inorder iterator. Did not recurse deep enough before.

Adding several stage methods in Link that propagates to the Page below.

Adding some getters and setters to Class Page.

Moving the creation of tmp directory to before the new Class structure.

To be imbedded later.