Sachverhalt:
1. H.___, geboren 1925, von Beruf Kaufmann, ist seit 1960 als Inhaber der Einzelfirma W.___ mit Sitz in R.___ im Handelsregister eingetragen (Urk. 30). Zudem war er von 1978 bis 1999 Hauptaktionär (98 % des Aktienkapitals von Fr. 50'000.--) der A.___ AG, und bis 12. Mai 1995 deren Verwaltungsrats-Präsident, anschliessend bis 18. Januar 2000 Mitglied des Verwaltungsrates (Urk. 19/3). Mit Vertrag vom 9. Dezember 1999 verkauften er und der andere Aktionär sämtliche Aktien der Gesellschaft zum Preis von Fr. 844'000.-- an die R.___ AG (Urk. 28/5).
Seit 1960 ist H.___ der Sozialversicherungsanstalt des Kantons Zürich, Ausgleichskasse, als Selbständigerwerbender angeschlossen (Urk. 12/1). Gestützt auf die Steuermeldung des kantonalen Steueramtes Zürich vom 17. Januar 2002, wonach H.___ aus selbständiger Erwerbstätigkeit 1993 ein Einkommen von Fr. 219'286.--, 1994 ein solches von Fr. 204'457.--, 1995 ein Einkommen von Fr. 233'038.-- und 1996 ein Erwerbseinkommen von Fr. 35'211.-- erzielt habe und das im Betrieb investierte Eigenkapital am 1. Januar 1995 Fr. 1'196'000.-- und am 1. Januar 1997 Fr. 96'000.-- betragen habe (Urk. 12/2 und 12/4, vgl. auch Urk. 12/6), setzte die Ausgleichskasse mit Verfügungen vom 11. Juli 2002 die Beiträge von H.___ als Selbständigerwerbender für das Jahr 1997 auf Fr. 12'730.80 und für die Jahre 1998 und 1999 je auf Fr. 12'466.20 (inkl. Verwaltungskosten) fest (Urk. 2/1-2). Diese Verfügungen ersetzten die Verfügungen vom 24. Februar 1998 und vom 17. Juni 1999, mit welchen die Beiträge für die Jahr 1997 bis 1999 offenbar gestützt auf eine frühere Steuermeldung jeweils auf Fr. 0 festgesetzt worden waren.
2. Gegen die Verfügungen vom 11. Juli 2002 liess H.___ am 10. September 2002 Beschwerde erheben mit den Anträgen (Urk. 1), die angefochtenen Verfügungen seien aufzuheben, eventuell seien die beitragspflichtigen Einkommen gemäss eigenen Angaben neu festzusetzen.
Mit Schreiben vom 18. Oktober 2002 ersuchte die Ausgleichskasse um Sistierung des Verfahrens, da die Auskunft des Steueramtes über die Richtigkeit der Angaben in der Steuermeldung noch ausstehend sei (Urk. 7). Mit Verfügung vom 31. Oktober 2002 wurde das Verfahren bis zum 30. April 2003 sistiert (Urk. 9). In der Beschwerdeantwort vom 28. April 2003 wies die Ausgleichskasse darauf hin, dass das Steueramt keine neuen Steuermeldungen bzw. Rektifikate zugestellt habe, und beantragte deshalb die Abweisung der Beschwerde (Urk. 11). Mit Schreiben vom 21. Juli 2003 (Urk. 19/3) stellte das Steueramt dem Beschwerdeführer sowie der Ausgleichskasse eine neue Steuermeldung gleichen Datums zu (Urk. 19/4), mit welcher die bisherige Steuermeldung vom 17. Januar 2002 in Bezug auf das Einkommen korrigiert und neu ein Einkommen aus selbständiger Erwerbstätigkeit für das Jahr 1993 von Fr. 275'826.75, für 1994 ein solches von Fr. 207'717.75, für 1995 ein solches von Fr. 206'888.15 und für 1996 ein Einkommen von Fr. 24'115.12 gemeldet wurde. Die Steuermeldung vom 21. Juli 2003 (Urk. 19/4) entsprach weitgehend den Vorstellungen des Beschwerdeführers. Der Beschwerdeführer reduzierte deshalb seine Eventualanträge in der Replik vom 30. Juli 2003 (Urk. 18) darauf, dass das in der Steuermeldung vom 21. Juli 2003 angeführte Einkommen aus selbständiger Erwerbstätigkeit 1993 und 1994 um Fr. 12'000.-- bzw. Fr. 6'000.-- herabzusetzen sei. Im Übrigen sei auf die Angaben in der Steuermeldung vom 21. Juli 2003 abzustellen. Was das in der Steuermeldung vom 17. Januar 2002 angeführte Eigenkapital anbelange, sei darauf abzustellen mit der Ausnahme, dass das Eigenkapital per 1. Januar 1997 statt auf Fr. 96'000.-- auf Fr. 196'000.-- festzusetzen sei.
Mit Eingabe vom 25. August 2003 verzichtete die Ausgleichskasse auf eine Duplik (Urk. 22). Am 27. August 2003 wurde der Schriftenwechsel geschlossen (Urk. 23). Mit Verfügung vom 18. September 2003 wurden die Steuerakten beigezogen (Urk. 24, Urk. 27).
Auf die Vorbringen der Parteien wird, soweit erforderlich, in den Erwägungen eingegangen.
Das Gericht zieht in Erwägung:
1.
1.1 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Sozialversicherungsbereich geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 127 V 467 Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung beziehungsweise des streitigen Einspracheentscheids eingetretenen Sachverhalt abstellt (BGE 121 V 366 Erw. 1b), sind im vorliegenden Fall die neuen Bestimmungen nicht anwendbar.
1.2 Nach Art. 23 Abs. 1 der Verordnung über die Alters- und Hinterlassenenver-sicherung (AHVV, in der hier anwendbaren, bis 31. Dezember 2000 gültig gewesenen Fassung) obliegt es in der Regel den Steuerbehörden, das für die Bemessung der Beiträge Selbständigerwerbender massgebende Erwerbseinkommen aufgrund der rechtskräftigen Veranlagung für die direkte Bundessteuer und das im Betrieb investierte Eigenkapital aufgrund der entsprechenden rechtskräftigen kantonalen Veranlagung zu ermitteln. Die Angaben der Steuerbehörden hierüber sind für die Ausgleichskassen verbindlich (Art. 23 Abs. 4 AHVV).
Nach der Rechtsprechung begründet jede rechtskräftige Steuerveranlagung die nur mit Tatsachen widerlegbare Vermutung, dass sie der Wirklichkeit entspreche. Da die Ausgleichskassen an die Angaben der Steuerbehörden gebunden sind und das Sozialversicherungsgericht grundsätzlich nur die Kassenverfügung auf ihre Gesetzmässigkeit zu überprüfen hat, darf das Gericht von rechtskräftigen Steuertaxationen bloss dann abweichen, wenn diese klar ausgewiesene Irrtümer enthalten, die ohne weiteres richtig gestellt werden können, oder wenn sachliche Umstände gewürdigt werden müssen, die steuerrechtlich belanglos, sozialversicherungsrechtlich aber bedeutsam sind. Blosse Zweifel an der Richtigkeit einer Steuertaxation genügen hiezu nicht; denn die ordentliche Einkommensermittlung obliegt den Steuerbehörden, in deren Aufgabenkreis das Sozialversicherungsgericht nicht mit eigenen Veranlagungsmassnahmen einzugreifen hat. Die selbständigerwerbenden Versicherten haben demnach ihre Rechte, auch im Hinblick auf die AHV-rechtliche Beitragspflicht, in erster Linie im Steuerjustizverfahren zu wahren (BGE 110 V 86 Erw. 4 und 370 f., 106 V 130 Erw. 1, 102 V 30 Erw. 3a; AHI 1997 S. 25 Erw. 2b mit Hinweis).
Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskassen und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt. Diese Bindung betrifft also nicht die beitragsrechtliche Qualifikation des Einkommens bzw. Einkommensbezügers und beschlägt daher die Frage nicht, ob überhaupt Erwerbseinkommen und gegebenenfalls solches aus selbständiger oder aus unselbständiger Tätigkeit vorliegt und ob der Einkommensbezüger beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung aufgrund des AHV-Rechts zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist (BGE 121 V 83 Erw. 2c, 114 V 75 Erw. 2, 110 V 86 Erw. 4 und 370 Erw. 2a, 102 V 30 Erw. 3b mit Hinweisen).
1.3 Richtet eine Aktiengesellschaft Leistungen an Arbeitnehmer aus, die gleichzeitig Inhaber gesellschaftlicher Beteiligungsrechte sind, erhebt sich bei der Festsetzung sowohl der direkten Bundessteuer als auch der Sozialversicherungsbeiträge die Frage, ob und inwieweit es sich um Arbeitsentgelt (massgebenden Lohn) oder aber um verdeckte Gewinnausschüttung (Kapitalertrag) handelt. Letztere unterliegt der direkten Bundessteuer im Sinne von Art. 20 Abs. 1 lit. c des Gesetzes über die direkte Bundessteuer (DBG) ihren Grund in der Aktionärseigenschaft des Empfängers hat. Nach der Rechtsprechung gehören Vergütungen, die als reiner Kapitalertrag zu betrachten sind, nicht zum massgebenden Lohn. Ob dies zutrifft, ist nach Wesen und Funktion einer Zuwendung zu beurteilen. Deren rechtliche oder wirtschaftliche Bezeichnung ist nicht entscheidend und höchstens als Indiz zu werten. Unter Umständen können auch Zuwendungen aus dem Reingewinn einer Aktiengesellschaft massgebender Lohn sein; dies gilt laut Art. 7 lit. h AHVV namentlich für Tantiemen. Es handelt sich dabei um Vergütungen, die im Arbeitsverhältnis ihren hinreichenden Grund haben. Zuwendungen, die nicht durch das Arbeitsverhältnis gerechtfertigt werden, gehören nicht zum massgebenden Lohn. Solche Gewinnausschüttungen werden als geldwerte Leistungen bezeichnet, d.h. Leistungen, die eine Gesellschaft ihren Gesellschaftern, ihr selbst oder ihren Gesellschaftern nahe stehenden Personen ohne entsprechende Gegenleistung zuwendet, aber unbeteiligten Dritten unter den gleichen Umständen nicht erbringen würde (Urteil des Eidgenössischen Versicherungsgerichts vom 19. November 2002 in Sachen S., H 49/02) mit Hinweisen).
Praxisgemäss ist es Sache der Ausgleichskassen, selbständig zu beurteilen, ob ein Einkommensbestandteil als massgebender Lohn oder als Kapitalertrag qualifiziert werden muss. Der in Art. 23 AHVV enthaltenen Ordnung entspricht es, dass sich die Ausgleichskassen in der Regel jedoch an die bundessteuerrechtliche Betrachtungsweise halten. Soweit es vertretbar ist, soll eine verschiedene Betrachtungsweise der Steuerbehörde und der AHV-Verwaltung vermieden werden, dies um der Einheit und Widerspruchslosigkeit der gesamten Rechtsordnung willen (BGE 103 V 4 f.; ZAK 1989 S. 148 Erw. 2c). Die Parallelität zwischen sozialversicherungs- und steuerrechtlicher Qualifikation ist nicht leichthin preiszugeben. Davon geht die Rechtsprechung aus, indem sie für den Schluss auf massgebenden Lohn bei Bezügen, die rechtskräftig der Reinertragssteuer unterworfen sind, ausschlaggebende Gründe verlangt (Urteil des Eidgenössischen Versicherungsgerichts vom 19. November 2002 in Sachen S., H 49/02, mit Hinweis auf das nicht veröffentlichte Urteil R. AG vom 30. Juni 1997, H 295/95).
2.
2.1 Der Beschwerdeführer lässt zunächst geltend machen, die Ausgleichskasse sei nicht befugt gewesen, auf die Verfügungen vom 24. Februar 1998 und vom 17. Juni 1999 zurückzukommen und diese durch die angefochtenen Verfügungen vom 11. Juli 2002 zu ersetzen.
2.2 Gemäss einem allgemeinen Grundsatz des Verwaltungsrechts kann die Verwaltung eine formell rechtskräftige Verfügung, welche nicht Gegenstand einer richterlichen Beurteilung gebildet hat, in Wiedererwägung ziehen, wenn sie zweifellos unrichtig und ihre Beurteilung von erheblicher Bedeutung ist (BGE 122 V 21 Erw. 3a).
Mit Verfügungen vom 24. Februar 1998 sowie vom 17. Juni 1999 wurden die Beiträge des Beschwerdeführers für die Jahre 1997 bis 1999 auf je Fr. 0 festgelegt (vgl. Urk. 2/1-2, Urk. 1). Aufgrund der Steuermeldungen vom 17. Januar 2002 und vom 21. Juli 2003 (Urk. 12/2, 12/4 und Urk. 19/4) ergibt sich, dass sich die vom Beschwerdeführer effektiv geschuldeten Beiträge für die Jahre 1997 bis 1999 auf mehr als Fr. 10'000.-- pro Jahr belaufen (vgl. Erw. 3 hiernach). Damit erweisen sich die ursprünglichen Verfügungen als zweifellos falsch. Angesichts der zur Diskussion stehenden Beiträge ist auch das Erfordernis der Erheblichkeit erfüllt. Die Voraussetzungen für eine Korrektur der ursprünglichen Verfügungen auf dem Weg der Wiedererwägung sind damit gegeben.
Der Einwand des Beschwerdeführers, wonach eine solche Korrektur vor dem Vertrauensschutz nicht standhalte, findet weder im Gesetz noch in der Rechtsprechung eine Stütze. Der weitere Einwand, dass die Belastung mit den nachträglich verfügten Beiträgen eine unzumutbare Härte darstelle, wird durch die vom Beschwerdeführer eingereichte Steuererklärung für die kantonale und direkte Bundessteuer 2002 vom 7. April 2003 widerlegt, in welcher er für die direkte Bundessteuer ein steuerbares Einkommen von Fr. 335'668.-- deklariert hat und für die kantonale Steuer ein satzbestimmendes Vermögen von Fr. 7'243'000.-- (Urk. 28/6).
Die Ausgleichskasse war damit befugt, die ursprünglichen Verfügungen auf dem Weg der Wiedererwägung durch die angefochtenen Verfügungen zu ersetzen.
3.
3.1 Gemäss der vom Beschwerdeführer weitgehend als korrekt anerkannten Steuermeldung vom 21. Juli 2003 (Urk. 19/4) hat der Beschwerdeführer in der fraglichen Zeit folgende Einkünfte aus selbständiger Erwerbstätigkeit erzielt und folgendes Eigenkapital in der Einzelfirma investiert:
| 1993 | 1994 | 1.1.1995 | 1995 | 1996 | 1.1.1997 | |
| Fr. | Fr. | Fr. | Fr. | Fr. | Fr. | |
| Einkommen aus SE* (Urk. 19/4) | 275'826.75 | 207'717.75 | 206'888.15 | 24'115.12 | ||
| Eigenkapital (Urk. 12/6) | 1'196'000.-- | 96'000.-- |
| 1993 | 1994 | 1.1.1995 | 1995 | 1996 | 1.1.1997 | |
| Fr. | Fr. | Fr. | Fr. | Fr. | Fr. | |
| Einkommen aus SE (Urk. 19/4) | 263'826.75 | 201'717.75 | 206'888.15 | 24'115.12 | ||
| Eigenkapital (Urk. 12/6) | 1'196'000.-- | 96'000.-- |