Byggnaden uppfördes 1668-70 av handelsmannen Joachim Pötter Lillienhoff efter ritningar av Johan Tobias Albinius. Den bevarar inredningen från byggnadstiden i några rum. Huset har kallats Engelska Huset eftersom den engelska ambassadören ägde huset 1723-42. Åren 1745-1888 låg här Katarina församlings fattighus. Byggnaden restaurerades 1939.