Privacy

Trust instead of algorithms

A number of Dutch cities have contracted a company named Totta data lab to predict which welfare recipients may have committed fraud (the cities were somewhat secretive about this approach, but newspaper NRC wrote about it last spring). Totta has trained algorithms on a considerable amount of personal data: 2 to 3 hundred variables over a period of 25 years.

Such analyses carry the risk that existing biases are reproduced:

Luk [A Totta spokesperson] says that in some municipalities more fraud is found among people who have a partner (e.g., they don’t report income), whereas in others it is people without a partner (failing to report they live together). «But it’s quite possible that only that group has been investigated and we build our algorithms on that.»

Luk says they sometimes add ‘deviant’ citizens to the suspects, apparently in an attempt to look beyond the usual suspects.

Another problem is the lack of transparency regarding how this type of algorithms work. Totta doesn’t disclose its algorithms because it wants to protect its business interests; further, it can be difficult to interpret and explain how algorithms work. As a result, the government is unable to explain what criteria it uses to prepare decisions that affect citizens. Recently, the Dutch Council of State expressed concerns over digital decision-making by the government.

Proponents of algorithms argue that they help to detect more fraud while reducing the burden for innocent citizens. In fact, there may not be such a clear distinction. The organisation of welfare agencies said that alleged welfare frauds are often people who mean no harm, but who get into trouble as a result of complex and ambiguous welfare rules.

Still, Amsterdam city council member Anne Marttin (VVD) finds the approach interesting. She asked if Amsterdam uses algorithms and data mining to detect welfare fraude. The answer is no. This is why:

The city government is aware of the use by other municipalities of algorithms and/or data mining to fight welfare fraud. The city does not use such instruments to deal with or prevent welfare fraud. […]

Our services for welfare recipients are based on trust. Further, the city government attaches great importance to the privacy of citizens and the way in which their data is used by the government, for example to develop algorithms. The city government thinks it’s very important that the use of data mining and algorithms doesn’t have a negative impact on the privacy and the legal protection of citizens.

Source (pdf)

Vertrouwen in plaats van algoritmes

Verschillende gemeenten hebben het bedrijf Totta data lab ingehuurd om te voorspellen welke uitkeringsgerechtigden misschien frauderen (ze hebben dit zelf niet actief naar buiten gebracht, maar de NRC schreef er afgelopen voorjaar over). Totta heeft algoritmes getraind op een enorme hoeveelheid persoonsgegevens: twee- tot driehonderd variabelen over een periode van 25 jaar.

Dit soort analyses brengen het risico met zich mee dat bestaande vooroordelen worden versterkt:

Luk [een Tottawoordvoerder] zegt dat bij de ene gemeente meer fraude gevonden wordt bij mensen mét partner (die geven bijvoorbeeld inkomsten niet op), terwijl het in andere gaat het om mensen zónder partner (die geven niet op dat ze samenwonen). «Maar het kan ook zijn dat er alleen onderzocht is op die groep en dat wij daar ons algoritme op bouwen.»

Luk zegt dat ze soms ook ‘afwijkende’ burgers als verdachte aanmerken. Zo willen ze waarschijnlijk voorkomen dat alleen de usual suspects in beeld komen.

Een ander probleem is het gebrek aan transparantie. Totta houdt zijn algoritmes geheim om zijn bedrijfsbelang te beschermen. Daarnaast kan het lastig zijn om de werking van algoritmes te interpreteren en uit te leggen. Hierdoor kan de overheid niet goed uitleggen welke criteria een rol spelen bij besluiten over burgers. De Raad van State heeft onlangs vraagtekens geplaatst bij de digitalisering van overheidsbesluiten.

De aanbieders van algoritmes zeggen dat deze aanpak helpt om meer fraudeurs op te pakken en tegelijk minder onschuldige burgers lastig te vallen. De werkelijkheid is waarschijnlijk ingewikkelder. Volgens de koepel van sociale diensten zijn vermeende fraudeurs vaak mensen van goede wil, die in de problemen komen door de complexe en onduidelijke bijstandsregels.

Gemeenteraadslid Anne Marttin (VVD) ziet de aanpak even goed wel zitten. Ze wil weten of Amsterdam al gebruik maakt van algoritmes en datamining bij de aanpak van bijstandsfraude. Het antwoord is nee. Dit is de reden:

Het college is bekend met het gebruik van algoritmes en/of datamining ter bestrijding van bijstandsfraude in andere gemeenten. Het college maakt geen gebruik van dergelijke instrumenten in de aanpak en preventie van bijstandsfraude. […]

De basis van de dienstverlening aan bijstandsgerechtigden is vertrouwen. Het college hecht ook grote waarde aan de privacy van de burger en de wijze waarop diens gegevens door de overheid worden gebruikt, bijvoorbeeld voor het ontwikkelen van algoritmes. Het college vindt het van groot belang dat gebruik van datamining en algoritmes geen negatieve invloed heeft op de privacy van de bijstandsgerechtigde en diens rechtsbescherming.

Beantwoording raadsvragen (pdf)

The Digital City

Amsterdam has a new coalition agreement. The paragraph on democratisation and the Digital City was well received - a London-based researcher from Amsterdam liked the plans so much she decided to translate them into English.

The new coalition wants to create a democratic version of the smart city. Citizens should be in control of their data. The city will support co-operations that provide an alternative to platform monopolists. An information commissioner will see to it that the principles ‘open by default’ and ‘privacy by design’ are implemented.

The agreement also lists a number of issues the city is (or was) already working on:

  • City council information will be opened up. In 2015, the city council asked to make documents such as council meeting reports, motions, written questions etc available as open data. Since, some of that data has been made available through Open Raadsinformatie, but as yet no solution has been found for offering all council information in a machine readable form.
  • Freedom of information requests (Wob requests) will be published. Amsterdam started publishing decisions on Wob requests earlier this year; so far three have been [published][wob].
  • Interestingly, Amsterdam wants to use open source software whenever possible. Over ten years ago, Amsterdam planned a similar move, and its plans were sufficiently serious to needle Microsoft. In 2010, the plans foundered on an uncooperative IT department.

All in all, a nice combination of new ambitions and implementation of ‘old’ plans.

De digitale stad

Amsterdam heeft een nieuw coalitieakkoord. De passage over democratisering en de Digitale Stad is goed ontvangen - een Amsterdams-Britse onderzoeker was zo enthousiast dat ze een Engelse vertaling maakte.

De nieuwe coalitie wil een democratische invulling geven aan de smart city. Burgers moeten meer controle krijgen over hun data, er worden niet meer gegevens verzameld dan nodig en er komt steun voor coöperaties die een alternatief willen bieden voor platformmonopolisten. Een informatiecommissaris gaat erop toezien dat de uitgangspunten ‘open tenzij’ en ‘privacy by design’ worden waargemaakt.

Het akkoord noemt ook een aantal onderwerpen waar de gemeente al mee bezig is (of was):

  • Raadsinformatie wordt toegankelijk. In 2015 heeft de gemeenteraad daar al om gevraagd. Sindsdien is een deel van de raadsinformatie beschikbaar via Open Raadsinformatie, maar er is nog geen goede oplossing om alle raadsinformatie in een goed doorzoekbare en analyseerbare vorm beschikbaar te stellen.
  • Wob-verzoeken en documenten worden toegankelijk. Hier is ook al een begin mee gemaakt. Tot nog toe zijn er drie Wob-besluiten gepubliceerd.
  • Ook interessant is dat Amsterdam zo veel mogelijk met open-sourcesoftware gaat werken. Ruim tien jaar geleden was Amsterdam dat al van plan, en dat was serieus genoeg om Microsoft op de kast te jagen. In 2010 leden de plannen schipbreuk op ambtelijke weerstand.

Al met al een mooie mix van nieuwe ambities en uitvoering van ‘oude’ plannen.

The impact of #deletefacebook

This is turning into a bit of a series: in previous posts, I showed how there’s a yearly peak in people googling “delete facebook” around New Year, the time for New Year’s resolutions. The peak is even higher than for “quit smoking”.

Against the backdrop of the latest Facebook controversy, Whatsapp co-founder Brian Acton helped launch a #deletefacebook campaign. Below is an update of my previous chart, which gives a preliminary impression of the impact of this campaign.

Some caution is in order, for recent Google Trends data can sometimes be a bit unstable. Also, it’s possible that currently some people are googling “delete facebook” out of curiosity, without actually intending to delete their account. That said, the impact of the current campaign may well be substantially larger than the annual New Year’s peak.

Pages