Sachverhalt:
1. J.___, geboren 1959, arbeitete seit 1990 als selbständigerwerbender Kunstmaler. Am 31. Oktober 2001 verlor er beim Reinigen der Regenrinne auf dem Balkon seiner Wohnung das Gleichgewicht und stürzte rund drei bis vier Meter rückwärts in die Tiefe auf ein Autodach (Urk. 11/4/5). Die A.___ erbrachte für diesen Unfall Taggeldleistungen für die Dauer von 730 Tagen bis zum 14. November 2003 (Urk. 11/8). Wegen eines Halswirbelsäulen- sowie eines Schädelhirntraumas meldete sich der Versicherte am 15. September 2003 bei der Invalidenversicherung zum Leistungsbezug an (Urk. 11/1). Die Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, liess einen Auszug aus dem individuellen Konto von J.___ erstellen (Urk. 11/3) und zog die Akten der A.___ (Urk. 11/4/1-20) sowie vom Kantonalen Steueramt die Steuererklärungen 1997-2002 (Urk. 11/26/1-24) bei. Ausserdem holte sie die Arztberichte von Dr. med. B.___, Allgemeine Medizin FMH, Sportmedizin, vom 2. Oktober 2003 (Urk. 11/5) und vom 24. April 2004 (Urk. 11/18) sowie von Dr. med. C.___, Spezialarzt FMH für Chirurgie, speziell Wirbelsäulenleiden, Schleudertrauma und orthopädische Traumatologie, vom 30. September 2003/1. November 2003 (Urk. 11/7) ein. Schliesslich nahm die IV-Stelle eine Abklärung über die selbständige Erwerbstätigkeit von J.___ vor (vgl. Abklärungsbericht vom 17. März 2005, Urk. 11/27). Danach holte sie von Dr. B.___ den weiteren Arztbericht vom 2. Mai 2005 ein (Urk. 11/29). Mit Verfügung vom 12. Juli 2005 wies die IV-Stelle den Rentenanspruch von J.___ ab, da es ihm zumutbar sei, eine leichte, wechselbelastende Tätigkeit zu 50 % auszuüben und damit eine rentenausschliessendes Einkommen (Invaliditätsgrad von 7 %) zu erzielen (Urk. 11/32). Gegen diese Verfügung liess J.___ am 7. September 2005 Einsprache erheben (Urk. 11/36). Die IV-Stelle veranlasste in der Folge die psychiatrische Begutachtung durch Dr. med. D.___, Facharzt FMH Psychiatrie/Psychotherapie (vgl. Gutachten vom 8. März 2006, Urk. 11/43). Mit Entscheid vom 29. März 2006 wies sie die Einsprache ab (Urk. 2).
2. Gegen diesen Einspracheentscheid liess J.___ durch Rechtsanwalt Silvan Meier Rhein am 23. Mai 2006 Beschwerde erheben mit folgenden Anträgen (Urk. 1 S. 2):
"1. Es sei der Einspracheentscheid vom 29. März 2006 aufzuheben.
2. Es sei dem Beschwerdeführer eine ganze Invalidenrente auszurichten.
3. Eventualiter sei die Angelegenheit zwecks weiterer Abklärungen an die Beschwerdegegnerin zurückzuweisen.
4. Subeventualiter sei dem Beschwerdeführer eine halbe Invalidenrente auszurichten.
5. Unter Kosten- und Entschädigungsfolgen zulasten der Beschwerdegegnerin."
Die IV-Stelle ersuchte mit Beschwerdeantwort vom 7. Juli 2006 um Abweisung der Beschwerde (Urk. 10). Mit Verfügung vom 4. September 2006 wurden dem Versicherten Rechtsanwalt Meier Rhein als unentgeltlicher Rechtsbeistand bestellt und der Schriftenwechsel geschlossen (Urk. 14).
3. Auf die Vorbringen der Parteien und die eingereichten Akten wird, soweit erforderlich, in den Erwägungen eingegangen.
Das Gericht zieht in Erwägung:
1.
1.1 Invalidität ist die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit (Art. 8 Abs. 1 des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts [ATSG]). Die Invalidität kann Folge von Geburtsgebrechen, Krankheit oder Unfall sein (Art. 4 Abs. 1 des Bundesgesetzes über die Invalidenversicherung [IVG]). Erwerbsunfähigkeit ist der durch Beeinträchtigung der körperlichen, geistigen oder psychischen Gesundheit verursachte und nach zumutbarer Behandlung und Eingliederung verbleibende ganze oder teilweise Verlust der Erwerbsmöglichkeiten auf dem in Betracht kommenden ausgeglichenen Arbeitsmarkt (Art. 7 ATSG).
1.2 Gemäss Art. 28 Abs. 1 IVG (in der bis zum 31. Dezember 2003 gültig gewesenen Fassung) haben Versicherte Anspruch auf eine ganze Rente, wenn sie mindestens zu 66 2/3 Prozent, auf eine halbe Rente, wenn sie mindestens zu 50 Prozent, oder auf eine Viertelsrente, wenn sie mindestens zu 40 Prozent invalid sind. In Härtefällen besteht gemäss Art. 28 Abs. 1bis IVG bereits bei einem Invaliditätsgrad von mindestens 40 Prozent Anspruch auf eine halbe Rente.
Die seit dem 1. Januar 2004 massgeblichen neuen Rentenabstufungen geben bei einem Invaliditätsgrad von mindestens 40 Prozent Anspruch auf eine Viertelsrente, bei einem Invaliditätsgrad von mindestens 50 Prozent Anspruch auf eine halbe Rente, bei einem Invaliditätsgrad von mindestens 60 Prozent Anspruch auf eine Dreiviertelsrente und bei einem Invaliditätsgrad von mindestens 70 Prozent Anspruch auf eine ganze Rente (Art. 28 Abs. 1 IVG in der seit dem 1. Januar 2004 in Kraft stehenden Fassung).
1.3 Bei erwerbstätigen Versicherten ist der Invaliditätsgrad gemäss Art. 16 ATSG (seit 1. Januar 2004: in Verbindung mit Art. 28 Abs. 2 IVG) aufgrund eines Einkommensvergleichs zu bestimmen. Dazu wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (sog. Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (sog. Valideneinkommen). Der Einkommensvergleich hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt (allgemeine Methode des Einkommensvergleichs; BGE 130 V 349 Erw. 3.4.2 mit Hinweisen).
Der Einkommensvergleich hat auch bei Selbständigerwerbenden in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt. Insoweit die fraglichen Erwerbseinkommen ziffernmässig nicht genau ermittelt werden können, sind sie nach Massgabe der im Einzelfall bekannten Umstände zu schätzen und die so gewonnenen Annäherungswerte miteinander zu vergleichen. Lassen sich die beiden hypothetischen Erwerbseinkommen nicht zuverlässig ermitteln oder schätzen, so ist in Anlehnung an die spezifische Methode für Nichterwerbstätige (Art. 27 IVV) ein Betätigungsvergleich anzustellen und der Invaliditätsgrad nach Massgabe der erwerblichen Auswirkungen der verminderten Leistungsfähigkeit in der konkreten erwerblichen Situation zu bestimmen. Der grundsätzliche Unterschied des ausserordentlichen Bemessungsverfahrens zur spezifischen Methode (seit 1. Januar 2004: gemäss Art. 28 Abs. 2bis IVG in Verbindung mit Art. 27bis und 27 IVV) besteht darin, dass die Invalidität nicht unmittelbar nach Massgabe des Betätigungsvergleichs als solchen bemessen wird. Vielmehr ist zunächst anhand des Betätigungsvergleichs die leidensbedingte Behinderung festzustellen; sodann ist aber diese im Hinblick auf ihre erwerbliche Auswirkung besonders zu gewichten. Eine bestimmte Einschränkung im funktionellen Leistungsvermögen einer erwerbstätigen Person kann zwar, braucht aber nicht notwendigerweise, eine Erwerbseinbusse gleichen Umfangs zur Folge zu haben. Wollte man bei Erwerbstätigen ausschliesslich auf das Ergebnis des Betätigungsvergleichs abstellen, so wäre der gesetzliche Grundsatz verletzt, wonach bei dieser Kategorie von Versicherten die Invalidität nach Massgabe der Erwerbsunfähigkeit zu bestimmen ist (ausserordentliches Bemessungsverfahren; BGE 128 V 30 f. Erw. 1; AHI 1998 S. 120 f. Erw. 1a und S. 252 Erw. 2b je mit Hinweisen).
1.4 Um den Invaliditätsgrad bemessen zu können, ist die Verwaltung (und im Beschwerdefall das Gericht) auf Unterlagen angewiesen, die ärztliche und gegebenenfalls auch andere Fachleute zur Verfügung zu stellen haben. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist (BGE 125 V 261 Erw. 4). Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der versicherten Person noch zugemutet werden können (BGE 125 V 261 Erw. 4 mit Hinweisen; AHI 2002 S. 70 Erw. 4b.cc).
Das Sozialversicherungsgericht hat den Sachverhalt von Amtes wegen festzustellen und alle Beweismittel objektiv zu prüfen, unabhängig davon, von wem sie stammen, und danach zu entscheiden, ob sie eine zuverlässige Beurteilung des strittigen Leistungsanspruches gestatten. Insbesondere darf es beim Vorliegen einander widersprechender medizinischer Berichte den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt (ZAK 1986 S. 188 Erw. 2a). Hinsichtlich des Beweiswertes eines ärztlichen Gutachtens ist im Lichte dieser Grundsätze entscheidend, ob es für die Beantwortung der gestellten Fragen umfassend ist, auf den erforderlichen allseitigen Untersuchungen beruht, die geklagten Beschwerden berücksichtigt und sich mit diesen sowie dem Verhalten der untersuchten Person auseinander setzt - was vor allem bei psychischen Fehlentwicklungen nötig ist -, in Kenntnis der und gegebenenfalls in Auseinandersetzung mit den Vorakten abgegeben worden ist, ob es in der Darlegung der medizinischen Zustände und Zusammenhänge einleuchtet, ob die Schlussfolgerungen der medizinischen Experten in einer Weise begründet sind, dass die rechtsanwendende Person sie prüfend nachvollziehen kann, ob der Experte oder die Expertin nicht auszuräumende Unsicherheiten und Unklarheiten, welche die Beantwortung der Fragen erschweren oder verunmöglichen, gegebenenfalls deutlich macht (BGE 125 V 352 Erw. 3a, 122 V 160 Erw. 1c; U. Meyer-Blaser, Die Rechtspflege in der Sozialversicherung, BJM 1989, S. 30 f.; derselbe in H. Fredenhagen, Das ärztliche Gutachten, 3. Aufl. 1994, S. 24 f.).
In Bezug auf Berichte von Hausärztinnen und Hausärzten darf und soll das Gericht der Erfahrungstatsache Rechnung tragen, dass diese mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patientinnen und Patienten aussagen (BGE 125 V 353 Erw. 3b/cc).
2.
2.1 Der Beschwerdeführer liess zur Begründung seiner Beschwerde geltend machen, das von der Beschwerdegegnerin eingeholte Gutachten von Dr. D.___ vermöge keine klaren Angaben zur Arbeitsfähigkeit zu machen und sei somit nicht geeignet, anderweitige Einschätzungen zu widerlegen. Es sei von einer Arbeitsunfähigkeit von 100 % für jegliche Arbeit auszugehen, weshalb der Beschwerdeführer Anspruch auf eine ganze Invalidenrente habe. Eventualiter sei festzuhalten, dass die vorgenommene psychiatrische Abklärung jedenfalls nicht genüge, sondern dass angesichts der HWS-Verletzung mit zahlreichen aktenkundigen Symptomen eines Schleudertraumas oder eines Schädelhirntraumas eine spezifische interdisziplinäre Begutachtung unter Federführung eines Neurologen und unter Beizug der Neuropsychologie vorzunehmen sei. Bei Annahme - einer bestrittenen - Restarbeitsfähigkeit von 50 % käme sodann gar keine Verweisungstätigkeit in Frage. Vielmehr sei anzunehmen, dass die Tätigkeit als Kunstmaler bereits behinderungsangepasst sei, womit das Invalideneinkommen nach dem angestammten Beruf zu bemessen wäre. Arbeitsfähigkeits- und Invaliditätsgrad wären diesfalls identisch, womit der Beschwerdeführer diesfalls zumindest Anspruch auf eine halbe Invalidenrente hätte (Urk. 1).
2.2 Demgegenüber führte die Beschwerdegegnerin zur Begründung des angefochtenen Entscheides aus, die Abklärungen hätten ergeben, dass der Beschwerdeführer für eine leichte Tätigkeit zu 50 % arbeitsfähig sei. Da keine Hinweise vorliegen würden, dass der Beschwerdeführer aus Krankheitsgründen als Kunstmaler ein tiefes Einkommen erzielt habe, sei von einem Valideneinkommen von Fr. 25'000.-- auszugehen. Mit einer behinderungsangepassten Hilfsarbeitertätigkeit könnte der Beschwerdeführer noch ein Einkommen von Fr. 22'903.-- erzielen. Der Invaliditätsgrad liege damit bei 8 % (Urk. 2).
3.
3.1
3.1.1 Laut dem Arztbericht von Dr. B.___ vom 2. Oktober 2003 (Urk. 11/5) leidet der Beschwerdeführer unter einem Status nach Sturz auf den Kopf am 31. Oktober 2001 bei HWS-Distorsionstrauma (posttraumatisches Cervicothorakovertebralsyndrom) sowie einer Commotio cerebri (posttraumatische neuropsychologische Defizite). Ohne Auswirkungen auf die Arbeitsfähigkeit bestehe ausserdem ein Tinnitus. In seinem angestammten Beruf als Kunstmaler sei der Beschwerdeführer seit dem Unfall zu 100 % arbeitsunfähig. Eine Umschulung sei kaum sinnvoll, da er eigentlich schon einen bezüglich seines Leidens geeigneten Beruf habe. Innert der nächsten drei bis sechs Monate sei eine Steigerung der Arbeitsfähigkeit auf 30 - 50 % eventuell möglich.
3.1.2 Im Arztbericht vom 24. April 2004 (Urk. 11/18) hielt Dr. B.___ fest, es bestehe nicht erst seit dem Unfall, sondern bereits seit dem 23. August 1999 eine Arbeitsunfähigkeit von 100 % wegen schwerer Depression mit erheblichen neuropsychologischen Defiziten bei Tinnitus und Schlafstörungen. Als sich diese Situation zu bessern begonnen habe, sei es am 31. Oktober 2001 zum Sturz vom Balkon gekommen.
3.1.3 Am 2. Mai 2005 (Urk. 11/29) erstattete Dr. B.___ einen weiteren Verlaufsbericht. Der Gesundheitszustand sei stationär, die Diagnose unverändert. Seit Ende Mai 2004 würden keine Therapien mehr durchgeführt, und der Beschwerdeführer sei auch nicht mehr in Behandlung bei Dr. C.___. Dr. B.___ selbst habe den Beschwerdeführer letztmals am 17. August 2004 und jetzt wieder am 27. April 2005 zur Erstellung dieses Berichtes gesehen. Der Beschwerdeführer habe sich dabei subjektiv weiterhin unzufrieden gezeigt wegen persistierenden stark belastungsabhängigen Schmerzen und stark eingeschränkter Konzentration. Klinisch finde sich eine erhebliche Einschränkung der HWS-Beweglichkeit, insbesondere in seitlichen Bewegungen und in Extension und bei sehr starker Druckdolenz. Die Neurologie sei unauffällig. Da die verschiedenen Therapien erfolglos geblieben seien, werde derzeit keine mehr durchgeführt. Es müsse eine ungünstige Prognose bezüglich Besserung und Erwerbsfähigkeit gestellt werden.
3.2
3.2.1 Dr. C.___ diagnostizierte in seinem Bericht vom 30. September 2003 (Urk. 11/7) ein posttraumatisches cervico-cephales Syndrom mit Begleitschwindel und Verdacht auf neuropsychologische Defizite bei Status nach HWS-Distorsion sowie postcommotionale Beschwerden bei Status nach Commotio cerebri. Das zentrale Problem seien die neuropsychologischen Beschwerden mit stark erhöhter Ermüdbarkeit, Vergesslichkeit, Konzentrationsschwäche und verminderter intellektueller Leistungsfähigkeit. Da der Beschwerdeführer als Künstler tätig sei, fielen diese Symptome besonders schwer ins Gewicht. Als Musiker und Komponist sei der Beschwerdeführer deshalb bis auf weiteres 100%ig arbeitsunfähig. Am 1. November 2003 erachtete Dr. C.___ den Beschwerdeführer in einer der Behinderung angepassten Tätigkeit (leicht, wechselbelastend, insbesondere kein Heben von schwereren Lasten, nicht mehr als 5 kg kurzfristig und 3 kg längerfristig) als zu 50 % arbeitsfähig (Urk. 11/7/2).
3.2.2 Nach Erlass der Verfügung vom 12. Juli 2005, mit der ein Rentenanspruch verneint wurde (Urk. 11/37/3-4) fügte Dr. C.___ im Verlaufsbericht vom 27. August 2005 (Urk. 11/40) bei der Diagnose eine mittelgradige depressive Episode als Folge des Unfalls 2001 hinzu. Trotz einer Vielzahl von Therapien habe keine wesentliche Verbesserung des Zustands erreicht werden können. Da der Beschwerdeführer als Künstler (Maler) erfolgreich tätig gewesen sei, wirkten sich vor allem die neuropsychologischen Beschwerden sehr einschränkend auf die Arbeitsfähigkeit aus. Der Beschwerdeführer klage, dass er vor allem auch unter einem Tinnitus leide. Es handle sich dabei um einen hohen Pfeifton im Kopf, der praktisch permanent vorhanden sei. Er könne den Tinnitus nur mit Entspannungstechniken und Musik jeweils temporär ausblenden. Darüber hinaus sei auch eine depressive Entwicklung mit Appetitsteigerung (10 kg Gewichtszunahme), Lust- und Interesselosigkeit, Erschöpfung, Sinnlosigkeitsgedanken und insbesondere auch Schlafstörungen (nur ca. drei Stunden Schlaf täglich) entstanden. Seit 2003 bestehe eine 100%ige Arbeitsunfähigkeit, auch für leichte Arbeiten.
3.3 Gemäss dem Bericht vom 18. August 2005 des Medizinischen Zentrums E.___ wo der Beschwerdeführer bereits im Jahre 2002 auf Zuweisung von Dr. B.___ in Behandlung war (vgl. Urk. 11/4/15-16) und welches Zentrum der Beschwerdeführer nach Erlass der leistungsabweisenden Verfügung aus eigener Initiative aufsuchte, leidet der Beschwerdeführer unter einer mittelgradigen depressiven Episode als Folge des Unfalles 2001 (ICD-10 F32.1), einer HWS-Distorsion (ICD-10 S13.4) sowie einem Tinnitus (ICS-10 H93.1). Die Arbeitsfähigkeit sei aufgrund der Depression, der Schmerzen und den Symptomen bei Status nach HWS-Distorsion zu 100 % aufgrund eines circulus vitiosus eingeschränkt. Der Beschwerdeführer könne den Alltag kaum bewältigen, sei bei den kleinsten Arbeiten überfordert, habe dauerhaft Schwindel, habe Mühe, Geh- und Fahrstrecken zu bewältigen, müsse sich bei kleinen Anstrengungen oft über drei Tage erholen. Der Tagesablauf sehe wie folgt aus: Schlechter Schlaf, Aufstehen zwischen 6-8 Uhr, häufig "rasierfreie Tage" wegen der Schmerzen, Schwindel beim Nagelschneiden, Spazieren mit dem Hund ca. 30 Minuten, ca. 30 Minuten Liegen nach dem Gehen, Abwasch vom letzten Abend, da er nicht kochen/essen/abwaschen könne, etwas Aufräumen des Hauses, Pflanzenbewässerung könne auch nicht auf einmal bewältigt werden, kein Kochen am Mittag wegen den Schmerzen, nur Sandwiches, wieder Spazieren mit dem Hund über 15 Minuten, zu dieser Zeit meist die beste Entspannung, trotzdem Schwindel, Kopfschmerzen, Wechsel zwischen Abliegen eine Stunde mit Entspannungsmusik und leichter Bewegung. Der Beschwerdeführer habe sich von seiner leichten Tätigkeit als Künstler vollständig distanzieren müssen und könne nicht mehr arbeiten. Daher sei von einer 100%igen Arbeitsunfähigkeit auch für leichte Arbeiten auszugehen. Neuropsychologisch liege eine deutliche Einschränkung vor. Der Beschwerdeführer könne etwas komplexere Tests nicht bearbeiten und sei überfordert.
3.4 Laut dem Abklärungsbericht für Selbständigerwerbende vom 17. März 2005 (Urk. 11/27) konnte der Beschwerdeführer nur stockend sprechen, auffallend seien die Wortfindungsstörungen gewesen. Während er seine gesundheitliche Situation schildere, breche er immer wieder in Tränen aus. Er erwähne, dass er früher ein lebensfroher Mensch gewesen sei und ein gutes Leben geführt habe. Der Unfall habe sein Leben aber komplett verändert. Er könne seither nicht mehr arbeiten und habe die Freude am Malen verloren. Es gehe einfach nicht mehr. Er habe Mühe, den Pinsel längere Zeit zu halten, Bewegungen über Schulterhöhe seien nicht mehr möglich, auch könne er sich nicht konzentrieren und nicht lange in der gleichen Position verharren. Auch zur Ausübung einer anderen Tätigkeit fühle sich der Beschwerdeführer nicht in der Lage. Ein Betätigungsvergleich lasse sich nicht erstellen, da der Beschwerdeführer sich je nach seinem "Faible, Empfinden" mit der Leinwand, mit verschiedenen Farben, Entwürfen usw. beschäftigt habe. Sein Atelier habe er weiterhin in seiner Wohnung eingerichtet. Wenn es besser gehe, würde er gerne wieder als Kunstmaler tätig werden. Eine betriebswirtschaftliche Interpretation sei nicht möglich, da keine eigentlichen Geschäftsabschlüsse vorliegen würden. Es sei jedoch ersichtlich, dass sich der Beschwerdeführer mit niederen Einkommen begnügt habe. Als Annahme könne gestützt auf die Jahre 1993 bis 1996 eine Jahreseinkommen von Fr. 25'000.-- getroffen werden. Da sich der Beschwerdeführer für keinerlei Tätigkeit mehr arbeitsfähig fühle, müsse zur Berechnung des Invalideneinkommens die medizinische Zumutbarkeit näher abgeklärt werden. Aufgrund des Alters sei es zumutbar, die verbliebene Resterwerbsfähigkeit in einer unselbständigen Erwerbstätigkeit auszuschöpfen.
3.5 Gemäss dem Gutachten von Dr. D.___ vom 8. März 2006 (Urk. 11/43) liegt beim Beschwerdeführer einerseits seit 1999 ein ursprünglich wohl reaktiv-depressiver, im Verlaufe der Jahre chronifizierter und heute eher als regressiv zu bezeichnender Zustand vor, als dessen Hauptsymptom ein Tinnitusgeräusch im Kopf angegeben werde. Andererseits sei es im Herbst 2001 zu einer Aktualisierung der Tinnitus-Symptomatik durch einen Sturz von einem Balkon gekommen, welcher auch zu einer HWS-Distorsion und einem zervikozephalen Syndrom geführt habe. Der chronifizierte regressive Zustand, in dem neben Nackenschmerzen subjektiv eine unspezifische Erschöpfungssymptomatik und der Verlust verschiedener kognitiver Funktionen beklagt würden, habe offenbar auch zu einer nunmehr sechs Jahre dauernden vollständigen Arbeitsunfähigkeit geführt, wegen der der Beschwerdeführer vier Jahre lang Taggelder seiner privaten Versicherung erhalten habe und er in der Folge wirtschaftlich vom Sozialamt abhängig geworden sei. Subjektiv habe dieser Zustand beim Beschwerdeführer zu einem totalen Verlust der körperlichen und psychischen Kraft geführt. Objektiv-verbal sei er jedoch sehr gut imstande, sich mitzuteilen und detailliert sowie spezifisch auf alle angesprochenen Themen einzugehen. Die angegebenen kognitiven Defizite, die er selbst auf den Tinnitus zurückführe, seien nicht Ausdruck eines (mittel)schweren depressiven Syndroms. Die anamnestisch erwähnte depressive Verstimmung sei heute nicht so leicht einzuordnen. In Frage kämen entweder rezidivierende depressive Störungen (ICD-10 F.33) oder eine Anpassungsstörung (ICD-10 F43.21) mit längerer depressiver Reaktion. Es sei schwierig, rückwirkend genaue Angaben zur Arbeitsfähigkeit aus psychiatrischer Sicht zu machen. Subjektiv sei der Beschwerdeführer seit Sommer 1999 völlig arbeitsunfähig wegen verschiedenen erwähnten und von ihm beklagten Beschwerden, die bisher offenbar therapieresistent gewesen seien. Heute leide er stark an der Tatsache, dass diese Arbeitsunfähigkeit von der Beschwerdegegnerin nicht entsprechend anerkannt worden sei. Objektiv könne aus psychiatrischer Sicht kaum positiv angegeben werden, zu wie viel Prozent der Beschwerdeführer beispielsweise für einfachere und anspruchslosere Tätigkeiten arbeitsfähig sein soll. Negativ könne nur festgehalten werden, dass wohl kaum zum vornherein auszuschliessen sei, dass der Beschwerdeführer solche Tätigkeiten nicht etwa zu 50 % ausüben könnte. Was Möglichkeiten zur Verbesserung der Situation aus psychiatrischer Sicht anbelange, so sei festzuhalten, dass 1999 keine psychotherapeutische Aufarbeitung des Verlustes der Beziehung zur Lebenspartnerin stattgefunden habe. Im Anschluss an den Unfall im Jahr 2002 habe offenbar eine verhaltenstherapeutische Behandlung von 16 Sitzungen stattgefunden. Die Ziele seien aber nicht erreicht worden. Heute scheine eine an sich indizierte psychodynamische Therapie nur schwer durchführbar. Der Beschwerdeführer verstehe sich seit fast sieben Jahren als vollinvalid und habe ausserdem schon viele therapeutische Kontakte erlebt, bei denen er wohl zumeist eine passive Rolle eingenommen habe. Der Zustand könne als Regression verstanden werden und bedeute Festhalten am Leiden, wie es der Beschwerdeführer deutlich dargestellt habe.
4.
4.1 Während Dr. C.___ im Bericht vom 30. September 2003 (Urk. 11/7/3-4) und vom 1. November 2003 (Urk. 11/7/1-2) dem Beschwerdeführer in einer behinderungsangepassten Tätigkeit noch eine 50%ige Arbeitsfähigkeit attestiert hatte, geht er im Bericht vom 27. August 2005 (Urk. 11/40) von einer 100%igen Arbeitsunfähigkeit für jegliche Tätigkeiten aus, ohne jedoch zu begründen, inwiefern eine Verschlechterung eingetreten ist. Die Ausführungen im Bericht vom 27. August 2005 entsprechen denn auch überwiegend wörtlich dem auch an Dr. C.___ zugestellten Bericht des Medizinischen Zentrums E.___ vom 18. August 2005 (Urk. 11/37) und scheinen nicht einer eigenständigen Abklärung von Dr. C.___ zu entstammen. Es enthalten auch beide Berichte die aktenwidrige Angabe, es sei dem Beschwerdeführer zuerst eine 50%ige IV-Rente zugesprochen worden, welche er durch die Verfügung vom 12. Juli 2005 nicht mehr erhalte. Bei der Würdigung der Berichte von Dr. C.___ und des Medizinischen Zentrums E.___ ist sodann dem Grundsatz Rechnung zu tragen, wonach Berichte der behandelnden Ärzte auf Grund deren auftragsrechtlichen Vertrauensstellung zum Patienten mit Vorbehalt zu würdigen sind. Vorliegend ist insbesondere auch zu beachten, dass die Berichte als Reaktion auf die rentenabweisende Verfügung der Beschwerdegegnerin vom 12. Juli 2005 zustande gekommen sind. Beim Bericht des Medizinischen Zentrums E.___ fehlen Angaben über die durchgeführten Behandlungen. Es wird lediglich festgehalten, dass beim Beschwerdeführer im Jahre 2002 16 einzeltherapeutische Sitzungen durchgeführt worden sind. Was konkret gemacht worden ist, ist jedoch aus dem Bericht nicht ersichtlich. Insbesondere geht nicht daraus hervor, ob die Therapie mangels Erfolg abgebrochen wurde oder ob - wie im Bericht vom 12. März 2002 (Urk. 11/4/15) vorausgesagt - die Rehabilitationsziele (Besserung durch Adaption der verbliebenen Fähigkeiten, Erlernen von Kompensationsmöglichkeiten, Verbesserung der körperlichen und psychischen Belastbarkeit, Verbesserung der Problem- und Krankheitsverarbeitung, Verminderung des subjektiven Beeinträchtigungs- und Krankheitsgefühls [weniger Schonverhalten und weniger Identifikation mit der Krankenrolle, weniger Abhängigkeit vom medizinischen Versorgungssystem]) erreicht werden konnten. Die aktuelle Beurteilung der Arbeitsfähigkeit durch das Medizinische Zentrum E.___ beruht sodann lediglich auf einem Vorgespräch mit dem Beschwerdeführer vom 19. August 2005 (wobei der Bericht selbst allerdings mit dem 18. August 2005 datiert ist), erfolgte mithin nicht aufgrund eigener Untersuchungen, sondern entspricht den Angaben des Beschwerdeführers. Insgesamt vermögen die Einschätzungen von Dr. C.___ und des Medizinischen Zentrums E.___, wonach der Beschwerdeführer in sämtlichen Tätigkeiten zu 100 % arbeitsunfähig sein soll, somit nicht zu überzeugen. Vielmehr ist aus somatischer Sicht von der Beurteilung von Dr. C.___ vom 30. September 2003 und 1. November 2003 (Urk. 11/7) auszugehen, wonach der Beschwerdeführer in einer der Behinderung angepassten, leichten und wechselbelastenden Tätigkeit (ohne Heben von Lasten über 5 kg) zu 50 % arbeitsfähig ist. Eine Verschlechterung des Zustands hat sich seit dieser Beurteilung nicht ergeben. Eine zusätzliche neuropsychologische Abklärung erweist sich nicht als notwendig. Die vorhandenen medizinischen Berichte erweisen sich als genügend.
4.2 In psychischer Hinsicht geht aus dem überzeugenden und den unter Erwägung Ziffer 1.4 aufgeführten Anforderungen genügenden Gutachten von Dr. D.___ vom 8. März 2005 (Urk. 11/43) hervor, dass dem Beschwerdeführer die Ausübung einer behinderungsangepassten Tätigkeit mindestens zu 50 % zumutbar ist. Es ist zwar übereinstimmend mit dem Beschwerdeführer nicht in Abrede zu stellen, dass im Gutachten gewisse Unsicherheiten bei der Einschätzung der Arbeitsfähigkeit auszumachen sind. Es geht aber doch mit der nötigen Klarheit daraus hervor, dass aus psychischer Sicht keine Gründe vorhanden sind, welche den Beschwerdeführer an der Ausübung einer 50%igen Erwerbstätigkeit hindern könnten. Wie Dr. D.___ zutreffend festhält, ist es nicht nachvollziehbar, weshalb sich der Beschwerdeführer aufgrund der eher diffusen Beschwerdebilder subjektiv für völlig arbeitsunfähig hält. Es ist dem Gutachten auch klar zu entnehmen, dass die Problematik beim nach eigenen Angaben bis zu diesem Zeitpunkt äusserst leistungsfähigen Beschwerdeführer seit 1999 - als Reaktion auf die Trennung von der langjährigen Lebenspartnerin - besteht und nicht durch den im Jahr 2001 erlittenen Unfall ausgelöst worden ist. Das Gutachten vermag darzulegen, dass die psychischen Beeinträchtigungen keinesfalls derart gravierend sind, um eine 100%ige Arbeitsunfähigkeit verursachen zu können. Es ist beim Beschwerdeführer denn auch trotz seit 1999 bestehenden depressiven Episoden nie eine eigentliche psychotherapeutische Behandlung durchgeführt worden. Stattdessen hat er sich regressiv in der Krankenrolle gefestigt. Die Aussagen des Beschwerdeführers über seine noch vorhandenen Möglichkeiten sind sodann insofern widersprüchlich, als er sich einerseits nach kleinsten Anstrengungen oft drei Tage erholen müsse und ausser kleinen Spaziergängen mit dem Hund kaum etwas machen könne. So sei er beispielsweise nach der Zugfahrt von G.___ nach H.___ derart erschöpft, dass ihn seine Schwester mit dem Auto abholen müsse, weil er den Bummelzug von H.___ nach F.___ nicht mehr ertrage. Auch die Pflanzenbewässerung bedürfe mehrerer Anläufe. Andererseits ist er aber trotz angeblich dauerhaftem Schwindel durchaus imstande, mit dem Pferd einer Bekannten auszureiten und dabei gelegentlich sogar ein kleines "Galöppli" zu machen. Schliesslich wies der Beschwerdeführer im gleichen Zusammenhang darauf hin, dass er mit seiner früheren Lebenspartnerin wieder zusammengekommen sei, sie würden aber getrennt wohnen (Urk. 11/43/15 [= Gutachten S. 12]).
4.3 Zusammenfassend ist demnach übereinstimmend mit der Beschwerdegegnerin von einer Arbeitsfähigkeit von 50 % in einer der Behinderung angepassten, leichten und wechselbelastenden Tätigkeit (ohne Heben von Lasten über 5 kg) auszugehen.
5.
5.1 Es ergibt sich aus dem Auszug aus dem individuellen Konto (Urk. 11/3), dass der Beschwerdeführer als Kunstmaler im Zeitraum 1990-2000 ein AHV-beitragspflichtiges Jahreseinkommen von jährlich maximal Fr. 24'000.-- (in den Jahren 1994 und 1995) erzielt hat. Die Beschwerdegegnerin ist deshalb zu Recht von einem Valideneinkommen von Fr. 25'000.-- für das Jahr 2002 ausgegangen, was vom Beschwerdeführer im Übrigen nicht bestritten worden ist.
5.2 Entgegen der Ansicht des Beschwerdeführers ist nicht davon auszugehen, dass es sich bei der Tätigkeit als Kunstmaler bereits um eine angepasste Tätigkeit handelt und das Invalideneinkommen nach dem angestammten Beruf zu bemessen, womit Arbeitsfähigkeits- und Invaliditätsgrad identisch wären. Einerseits geht keineswegs aus den Akten hervor, dass die Arbeit als Kunstmaler behinderungsangepasst ist. Der Beschwerdeführer selbst hat angegeben (Urk. 11/27/3), dass er dabei diverse ungünstige Positionen einzunehmen habe und sie höchste Konzentration erfordere. Ausserdem müsse er ein Werk an einem Stück vollenden, was viele Stunden dauere. Inmitten eines Werkes eine Pause einzuschalten, sei ihm nicht möglich (Urk. 11/4/6 unten). Anderseits ist es dem Beschwerdeführer im Rahmen seiner Schadenminderungspflicht gegenüber der Invalidenversicherung durchaus zuzumuten, die finanziell wenig einträgliche Tätigkeit als Kunstmaler zugunsten einer besser bezahlten Tätigkeit aufzugeben.
5.3 Für die Bestimmung des Invalideneinkommens ist primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Ist kein solches tatsächlich erzieltes Erwerbseinkommen gegeben, namentlich weil die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat, so können nach der Rechtsprechung Tabellenlöhne gemäss den vom Bundesamt für Statistik periodisch herausgegebenen Lohnstrukturerhebungen (LSE) herangezogen werden (BGE 126 V 76 f. Erw. 3b/aa und bb, vgl. auch BGE 129 V 475 Erw. 4.2.1). Für die Invaliditätsbemessung wird praxisgemäss auf die standardisierten Bruttolöhne (Tabellengruppe A) abgestellt (BGE 129 V 476 Erw. 4.2.1 mit Hinweis), wobei jeweils vom so genannten Zentralwert (Median) auszugehen ist. Bei der Anwendung der Tabellengruppe A gilt es ausserdem zu berücksichtigen, dass ihr generell eine Arbeitszeit von 40 Wochenstunden zugrunde liegt, welcher Wert etwas tiefer ist als die bis 1998 betriebsübliche durchschnittliche Arbeitszeit von wöchentlich 41,9 Stunden, seit 1999 von 41,8 Stunden, seit 2001 von 41,7 und seit 2004 von 41,6 Stunden (Die Volkswirtschaft 10/2005 S. 82 Tabelle B9.2; BGE 129 V 484 Erw. 4.3.2, 126 V 77 f. Erw. 3b/bb, 124 V 322 Erw. 3b/aa; AHI 2000 S. 81 Erw. 2a).
Nach der Rechtsprechung ist beim Einkommensvergleich unter Verwendung statistischer Tabellenlöhne zu berücksichtigen, dass gesundheitlich beeinträchtigte Personen, die selbst bei leichten Hilfsarbeitertätigkeiten behindert sind, im Vergleich zu voll leistungsfähigen und entsprechend einsetzbaren Arbeitnehmern und Arbeitnehmerinnen lohnmässig benachteiligt sind und deshalb in der Regel mit unterdurchschnittlichen Lohnansätzen rechnen müssen. Sodann ist dem Umstand Rechung zu tragen, dass weitere persönliche und berufliche Merkmale einer versicherten Person, wie Alter, Dauer der Betriebszugehörigkeit, Nationalität oder Aufenthaltskategorie sowie Beschäftigungsgrad Auswirkungen auf die Lohnhöhe haben können. In BGE 126 V 75 ff. hat das Eidgenössische Versicherungsgericht die bisherige Praxis dahin gehend präzisiert, dass die Frage, ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalls (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) abhängig ist. Der Einfluss sämtlicher Merkmale auf das Invalideneinkommen ist nach pflichtgemässem Ermessen gesamthaft zu schätzen, wobei der Abzug auf höchstens 25 % zu begrenzen ist (BGE 129 V 481 Erw. 4.2.3 mit Hinweisen).
5.4 Der Zentralwert für die mit einfachen und repetitiven Aufgaben beschäftigten Männer betrug im Jahre 2002 im privaten Sektor Fr. 4'557.-- pro Monat bei 40 Arbeitsstunden pro Woche (LSE 2002, Tabelle TA 1, S. 43), was unter Berücksichtigung einer betriebsüblichen Arbeitszeit von 41,7 Stunden pro Woche ein hypothetisches Einkommen von monatlich Fr. 4'750.-- bzw. Fr. 57'000.-- pro Jahr (mal 12) ergibt. Bezogen auf ein 50%-Pensum resultiert ein Einkommen von Fr. 28'500.--. Dem Umstand, dass der Beschwerdeführer auch in behinderungsangepassten Tätigkeiten gewisse Einschränkungen (erforderliche Wechselbelastung, keine Gewichte über 5 kg, verringerte Konzentrationsfähigkeit) erleidet, ist mit einem Abzug von 20 % Rechnung zu tragen. Das Invalideneinkommen beläuft sich somit auf Fr. 22'800.--. Verglichen mit dem hypothetischen Valideneinkommen von Fr. 25'000.-- resultiert eine Einkommenseinbusse von Fr. 2'200.-- bzw. 8,8 %. Der Beschwerdeführer hat demnach keinen Rentenanspruch, was zur Abweisung der Beschwerde führt.
6. Ausgangsgemäss ist der unentgeltliche Rechtsbeistand des Beschwerdeführers für seine Bemühungen aus der Gerichtskasse zu entschädigen. Rechtsanwalt Meier Rhein hat mit Honorarnote vom 4. September 2007 (Urk. 16) einen Aufwand von 7,6 Stunden und Barauslagen von Fr. 30.40 geltend gemacht. Dies erscheint als der Bedeutung der Streitsache und der Schwierigkeit des Prozesses angemessen, weshalb Rechtsanwalt Meier Rhein in Anwendung des gerichtsüblichen Ansatzes von Fr. 200.-- pro Stunde mit Fr. 1'668.25 (inkl. Barauslagen und MWSt) aus der Gerichtskasse zu entschädigen ist.
Das Gericht erkennt:
1. Die Beschwerde wird abgewiesen.
2. Das Verfahren ist kostenlos.
3. Der unentgeltliche Rechtsvertreter des Beschwerdeführers, Rechtsanwalt Silvan Meier Rhein, Zürich, wird mit Fr. 1'668.25 (inkl. Barauslagen und MWSt) aus der Gerichtskasse entschädigt. Der Beschwerdeführer wird auf § 92 ZPO hingewiesen.
4. Zustellung gegen Empfangsschein an:
- Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle
- Rechtsanwalt Silvan Meier Rhein
- Bundesamt für Sozialversicherungen
sowie an:
- die Gerichtskasse (nach Eintritt der Rechtskraft)
5. Gegen diesen Entscheid kann innert 30 Tagen seit der Zustellung beim Bundesgericht Beschwerde eingereicht werden (Art. 82 ff. in Verbindung mit Art. 90 ff. des Bundesgesetzes über das Bundesgericht, BGG). Die Frist steht während folgender Zeiten still: vom siebten Tag vor Ostern bis und mit dem siebten Tag nach Ostern, vom 15. Juli bis und mit 15. August sowie vom 18. Dezember bis und mit dem 2. Januar (Art. 46 BGG).
Die Beschwerdeschrift ist dem Bundesgericht, Schweizerhofquai 6, 6004 Luzern, zuzustellen.
Die Beschwerdeschrift hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift zu enthalten; der angefochtene Entscheid sowie die als Beweismittel angerufenen Urkunden sind beizulegen, soweit die Partei sie in Händen hat (Art. 42 BGG).