物語の舞台は、第2次世界大戦下の日本。主人公は入院中の母を火事で亡くし、父親の再婚に伴って東京から田舎へ移り住んだ少年・牧眞人（まきまひと）だ。父親の再婚相手は、死んだ母とそっくりな母の妹だった。一風変わった7人の老婆が仕える屋敷に住み始めた眞人。その屋敷の近くには、かつて物語が好きな大おじが建て、忽然と姿を消したという廃墟同然の塔があった。眞人は人の言葉をしゃべるアオサギに導かれ、不思議な世界へと冒険に出る。

10歳の息子を育てながら家政婦として働くシングルマザーの杏子。不慮の事故が原因で記憶が80分しかもたなくなってしまった数学博士の身の回りの世話をすることに。彼は記憶の欠陥を補うため、忘れてはならない事柄をメモしては自分の着ている服にあちこち貼り付け、また、自分のお得意の数式をしばしば話題にし、他人と独自のコミュニケーションをとっていた。最初は面食らった杏子だが、次第に博士の人柄に魅せられていく。