champagne anarchist | armchair activist

Open Data

The Digital City

Amsterdam has a new coalition agreement. The paragraph on democratisation and the Digital City was well received - a London-based researcher from Amsterdam liked the plans so much she decided to translate them into English.

The new coalition wants to create a democratic version of the smart city. Citizens should be in control of their data. The city will support co-operations that provide an alternative to platform monopolists. An information commissioner will see to it that the principles ‘open by default’ and ‘privacy by design’ are implemented.

The agreement also lists a number of issues the city is (or was) already working on:

  • City council information will be opened up. In 2015, the city council asked to make documents such as council meeting reports, motions, written questions etc available as open data. Since, some of that data has been made available through Open Raadsinformatie, but as yet no solution has been found for offering all council information in a machine readable form.
  • Freedom of information requests (Wob requests) will be published. Amsterdam started publishing decisions on Wob requests earlier this year; so far three have been [published][wob].
  • Interestingly, Amsterdam wants to use open source software whenever possible. Over ten years ago, Amsterdam planned a similar move, and its plans were sufficiently serious to needle Microsoft. In 2010, the plans foundered on an uncooperative IT department.

All in all, a nice combination of new ambitions and implementation of ‘old’ plans.

De digitale stad

Amsterdam heeft een nieuw coalitieakkoord. De passage over democratisering en de Digitale Stad is goed ontvangen - een Amsterdams-Britse onderzoeker was zo enthousiast dat ze een Engelse vertaling maakte.

De nieuwe coalitie wil een democratische invulling geven aan de smart city. Burgers moeten meer controle krijgen over hun data, er worden niet meer gegevens verzameld dan nodig en er komt steun voor coöperaties die een alternatief willen bieden voor platformmonopolisten. Een informatiecommissaris gaat erop toezien dat de uitgangspunten ‘open tenzij’ en ‘privacy by design’ worden waargemaakt.

Het akkoord noemt ook een aantal onderwerpen waar de gemeente al mee bezig is (of was):

  • Raadsinformatie wordt toegankelijk. In 2015 heeft de gemeenteraad daar al om gevraagd. Sindsdien is een deel van de raadsinformatie beschikbaar via Open Raadsinformatie, maar er is nog geen goede oplossing om alle raadsinformatie in een goed doorzoekbare en analyseerbare vorm beschikbaar te stellen.
  • Wob-verzoeken en documenten worden toegankelijk. Hier is ook al een begin mee gemaakt. Tot nog toe zijn er drie Wob-besluiten gepubliceerd.
  • Ook interessant is dat Amsterdam zo veel mogelijk met open-sourcesoftware gaat werken. Ruim tien jaar geleden was Amsterdam dat al van plan, en dat was serieus genoeg om Microsoft op de kast te jagen. In 2010 leden de plannen schipbreuk op ambtelijke weerstand.

Al met al een mooie mix van nieuwe ambities en uitvoering van ‘oude’ plannen.

Jan Paternotte, de snelste spreker van de gemeenteraad

Ik heb de verslagen gedownload van 205 raadsvergaderingen (en 1.116 commissievergaderingen) van de Amsterdamse gemeenteraad. Daar kan je ruim 38 duizend stukjes gesproken tekst van raadsleden uit destilleren. Bij elk stukje tekst staat vermeld hoe lang de spreker aan het woord was. In principe kan je dus berekenen hoe snel raadsleden spreken.

De grafiek hieronder laat de relatie zien tussen de spreektijd en het aantal woorden, voor de huidige raadsperiode (zie Methode voor de slagen om de arm):

Er is een stevige correlatie: hoe langer sprekers aan het woord zijn, hoe meer woorden ze uitspreken (rangcorrelatie van 0.95), wat op zich niet verassend is. De doorsnee snelheid is ruim 158 woorden per minuut, maar de ene spreker is de ander niet. De rode stippen verwijzen naar teksten van Jan Paternotte, de snelste spreker van de gemeenteraad (inmiddels is hij Tweede Kamerlid geworden). Hij haalde deze raadsperiode normaal gesproken ruim 185 woorden per minuut.

Nou is het niet zo dat hij als een gek zijn tekst afraffelt. Hier is een voorbeeld (vanaf plm 59 minuten) waar Paternotte het woord voert met een voor hem karakteristieke snelheid. Ter vergelijking, het verhaal van Daniel van der Ree (vanaf plm 6:08) zit dicht bij de mediane snelheid voor alle raadsleden in de huidige raadsperiode.

Je moet voorzichtig zijn om de uitkomsten te vergelijken met cijfers uit andere bronnen, maar met die slag om de arm: Paternotte spreekt sneller dan een gemiddelde radionieuwslezer van de BBC, maar iets langzamer dan een radionieuwslezer bij de Franse RF of de Italiaanse RAI (om nog maar te zwijgen over de Spaanse RNE).

Hieronder een ranglijstje van de snelste sprekers van de raad, per periode, met tussen haakjes de mediaan voor het aantal woorden per minuut. Let wel, de verschillen zijn vrij klein. Jan Paternotte was in de vergaderingen van de huidige periode de snelste spreker, maar daaruit kan je nog niet concluderen dat hij in z’n algemeenheid een snellere spreker is dan bijvoorbeeld Sofyan Mbarki.

Raadsperiode 2014–2018
Paternotte, J.M. (186.2)
Mbarki, S. (184.6)
Poorter, M.F. (184.5)
Groen, R.J. (180.0)
Dantzig, R.H. van (180.0)
Vink, B.L. (177.4)
Kwint, J.P. (177.1)
Vroege, J.S.A. (176.8)
Roosma, F. (176.5)
Boomsma, D.T. (175.4)

Raadsperiode 2010–2014
Paternotte, Jan (176.4)
Poorter, Maarten (174.9)
Manuel, Ivar (165.0)
Goede, Marco de (162.9)
Bouwmeester, Gerolf (162.9)
Ivens, L.G.F. (162.9)
Velzen, G. van (160.2)
Roemburg, Evelien van (159.2)
Winsemius, Rik (158.4)
Evans-Knaup, Roderic (155.5)

Raadsperiode 2006–2010
Burg, E. van der (161.8)
Bergervoet, M. (161.8)
Manuel, Ivar (161.5)
Unver, Emre (160.0)
Goede, Marco de (160.0)
Geurts, B. (158.2)
Garde, M.C. van der (158.2)
Roos, D.J. (154.6)
Pligt, Maureen van der (153.3)
Verweij, H. (153.1)

UPDATE - Terechte kritiek op de grafiektitel.

Methode (en een update over open raadsinformatie)

Voor deze analyse heb ik gebruik gemaakt van de ‘oude’ raadsinformatie. Toen ik bijna klaar was, verscheen een persbericht dat raadsinformatie nu beschikbaar is als open data. De gemeente doet mee aan het prijzenswaardige project Open Raadsinformatie, dat als doel heeft om de raadsinformatie van meer dan honderd gemeenten op uniforme wijze beschikbaar te stellen als open data. Zo worden de gegevens beter toegankelijk voor journalisten, onderzoekers, app-ontwikkelaars en alle andere geïnteresseerde burgers.

Amsterdamse raadsleden dringen al lange tijd aan op open raadsinformatie. De deelname aan Open Raadsinformatie moest in die behoefte voorzien. Helaas zijn op dit moment alleen raadsverslagen en uitslagenlijsten beschikbaar, en alleen in pdf-vorm. Daarmee steekt de transparantie van de Amsterdamse besluitvorming pover af bij gemeenten als Utrecht.

Open State, een organisatie die een belangrijke rol speelt in het project Open Raadsinformatie, laat weten dat leverancier NotuBiz als pilot op dit moment alleen agenda’s en agendapunten ontsluit. Zij evalueren momenteel samen met VNG en hun klanten of ze in de toekomst meer gegevens en functionaliteit toe kunnen voegen.

Maar goed, voor nu heb ik dus gebruik gemaakt van het ‘oude’ systeem. De zoekfunctie die daaraan gekoppeld is is niet optimaal, maar in dit geval viel dat te omzeilen door de sitemap te scrapen.

De hoeveelheid genotuleerde tekst varieert nogal; vanaf 2015 is er meer tekst beschikbaar dan in voorgaande jaren. Ook is de spreeksnelheid in recentere jaren hoger: een mediaan van 158 wpm voor de huidige periode, tegenover ongeveer 145 wpm daarvoor. Waar dat precies aan ligt weet ik niet, maar het lijkt erop dat de vergaderingen in het verleden minder zorgvuldig zijn genotuleerd. Voor 2015 komt het regelmatig voor dat er geen of bijna geen tekst genotuleerd is. Al met al lijkt het erop dat de gegevens voor de huidige periode het meest betrouwbaar zijn.

Op de grafiek zijn enkele outliers niet zichtbaar. Ook heb ik de spreekteksten van de voorzitters van de raadsvergaderingen bij de analyse buiten beschouwing gelaten; daar zit wat meer ruis in. Het berekenen van de spreeksnelheid van individuele raadsleden heb ik beperkt tot personen die minstens 50 keer aan het woord zijn geweest.

Dit script laat zien hoe ik de gegevens heb verzameld en geanalyseerd.

The fastest speaker of the Amsterdam City Council

I’ve downloaded the reports of 205 city council meetings (as well as 1,116 council committee meetings) from the website of the City of Amsterdam. They contain over 38 thousand text fragments spoken by council members. Each fragment comes with an indication how long the council member had the floor. From this, it should be possible to calculate how fast council members speak.

The chart below shows the correlation between speech duration and the number of words, for the current city council period (see Method for caveats):

There’s a strong correlation: longer speeches contain more words (rank correlation 0.95), which shouldn’t come as a surprise. The median rate is over 158 words per minute, but this varies per council member. The red dots represent Jan Paternotte, the fastest speaker of the city council (he has since become a member of the national parliament). During this council period, his median rate was over 185 words per minute.

This doesn’t mean he rushes through his text. Here is an example (starting at approximately 59 minutes) where Paternotte speaks at his characteristic rate. For comparison, the speech by Daniel van der Ree (starting at approximately 6:08) is close to the median rate for all council members.

It’s tricky to compare these outcomes with data from other sources, but with that caveat: Paternotte speaks faster than the average news reader at BBC radio, but slightly slower than radio news readers of the French RF or the Italian RAI (not to mention the Spanish RNE).

UPDATE - Valid criticism of the chart title here (in Dutch).

Method (and an update on open council data)

For this analysis, I used the ‘old’ source for city council information. When I had almost finished, a press release announced that council information is now available as open data. Amsterdam participates in the commendable Open Raadsinformatie programme, which aims to make the city council information of over one hundred Dutch municipalities available as open data, in a uniform format. This will make it easier for journalists, researchers, app developers and anyone else who is interested to access and use this data.

Council members in Amsterdam have for quite some time been asking for open city council information. Participation in Open Raadsinformatie was meant to provide for this. However, at this moment only council meeting reports and voting results are available, and only in pdf format. This means that Amsterdam trails cities like Utrecht in terms of transparency.

Open State, an organisation that plays a key role in the Open Raadsinformatie programme, indicated that service provider NotuBiz currently makes agendas and agenda items available as part of a pilot. They are currently evaluating the pilot with the national organisation of municipalities VNG and their customers, and considering adding more data and functionality in the future.

For now, I used the ‘old’ source. Its search functionality is sub-optimal, but in this case I could get around this by scraping the site map.

The amount of text in the reports varies considerably; as of 2015, more text is available than in previous years. Further, the speech rate is higher in more recent years: a median of 158 wpm for the current council period, compared to about 145 wpm before that. I’m not sure how this can be explained, but it appears that minute taking has improved over time. Before 2015, there are frequent examples of meetings for which (almost) no speech has been reported. All in all, it appears that the data for the current council period is the most reliable.

The chart omits a few outliers. Further, I excluded speech of the chairmen of meetings from the analysis; this contains more noise. This script shows how I collected and anlysed the data.

Het einde van de anonieme fietser

Amsterdam wil de markt voor ‘deelfietsen’ reguleren. Er worden straks allerlei gegevens bijgehouden over het gebruik van die fietsen en je zou die gegevens beschikbaar kunnen stellen als open data, zoals in veel steden al gebeurt. Amsterdam, een stad met ambities als het gaat om verantwoord datagebruik, lijkt dit echter niet van plan te zijn.

Ok. Maar het is ondertussen ook goed om stil te staan bij het feit dat die gegevens verzameld worden.

Je kunt je nauwelijks nog verplaatsen zonder dat je wordt gevolgd. Als je een telefoon bij hebt, is je locatie bekend. Automobilisten worden gevolgd via hun navigatiesysteem en met nummerplaatscanners. In het openbaar vervoer wordt je ook gevolgd - tenzij je een anonieme ov-chipkaart koopt en betaalt met muntjes.

Fietsers kunnen wel nog over straat zonder dat ze gevolgd worden. Maar ook daar wordt aan gewerkt. In Tilburg wordt een test uitgevoerd waarbij fietsers sneller groen krijgen als ze zich laten detecteren met een app (terwijl er ook wel andere manieren zijn om fietsers te detecteren - als je per se innovatief wil zijn gebruik je gewoon een warmtesensor). De gemeente belooft dat deelnemers anoniem blijven, maar verzamelt wel gegevens om analyses te maken.

VanMoof stopt een gps-chip in sommige fietsen om diefstal te ontmoedigen (waarom je een VanMoof zou willen stelen ontgaat me, maar dat terzijde). Amsterdam test een systeem waarbij je fiets dankzij een chip herkend wordt in de fietsenstalling. De Amsterdamse ondernemerslobby, die klaagt dat er teveel fietsen zijn, wil ook dat fietsen een chip krijgen.

Bij ‘deelfietsen’ zit ingebakken dat de fietsen gevolgd worden. Sterker nog, Amsterdam eist van aanbieders dat ze real-time gaan volgen waar hun fietsen zijn. Liefst zo nauwkeurig dat ze kunnen zien of je je fiets in of naast een fietsvak hebt neergezet. Natuurlijk beloven de fietsverhuurders dat ze zorgvuldig omgaan met de gegevens die ze over je verzamelen (alhoewel). Maar de gemeente stelt hierover geen voorwaarden aan de vergunninghouders.

Straks ben je een moderne Luddiet als je nog op je eigen fiets rondrijdt en weigert om een chip of een groenlicht-app te installeren. Je weet dat het een verloren strijd is, maar toch doe je het.

Tot en met 16 februari kan er schriftelijk gereageerd worden op het plan van Amsterdam om deelfietsen te reguleren. Op dindsdag 23 januari is er een inspraakbijeenkomst.

Pages