Marek Galewski, Instytut Matematyki