Ingen som har et lite hint på hvordan dette gjøres? Jeg legger ved enda et bilde av hvordan det ser ut inni hullet på selve håndtaket.
Jeg har forsøkt å dytte, vri, skru you name it.. ingenting som hjelper

Knappen sitter på baksiden av skiltet så den blir med ut sammen med dette.
Hakket i kåpen må vel være til noe det også. Snur det rundt og se inn hullet samtidig og se om noe dukker opp inne bak dette.

På siste bildet ser det nesten ut som ett flatspor i hullet.

Prøvd med ett lite flatskrujern?

Nettopp!
For meg ser dette ut som toppen av en settskrue, som skal skrus mot klokka.
Med RIKTIG skrutrekker!
Skrutrekkeren må passe til sporet. Ødelegger man sporet, så ligger man tynt an.

Løsning: 
Løsningen var å dytte en liten (veldig liten) flat skrutrekker inn i det lille hullet i vrideren pekende mot døren, for så å dytte det lille "flatsporet" inn mot håndtaket samtidig som man drar hele vrideren med seg. Ikke veldig selvforklarende, men lett når man kan det