Sachverhalt:
1. X.___, geboren 1952, arbeitete seit dem 18. Mai 1979 bei der Z.___ AG als Vorarbeiter (Urk. 8/8/1). Am 24. November 2003 löste die Arbeitgeberin das Arbeitsverhältnis per 29. Februar 2004 auf, da sie habe feststellen müssen, dass X.___ die in einen Vorarbeiter gesetzten Erwartungen nicht erfülle (Urk. 8/8/4). Wegen Schlafstörungen, psychischen Problemen, Traurigkeit sowie Rücken- und Beinschmerzen meldete sich X.___ am 20. Oktober 2004 bei der Invalidenversicherung zum Leistungsbezug (Berufsberatung, Arbeitsvermittlung, Rente) an (Urk. 8/4). Die Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, holte den Arbeitgeberbericht der Z.___ AG vom 9. November 2004 (Urk. 8/8) sowie die Arztberichte von Dr. med. A.___, Facharzt für Psychiatrie und Psychotherapie, vom 27. Januar 2005 (Urk. 8/10), des Psychiatrie-Zentrums B.___ vom 29. März 2005 (Urk. 8/12) und von Dr. med. C.___ vom 16. November 2005 (Urk. 8/25/1-4) ein. Sodann liess die IV-Stelle beim D.___ das polydisziplinäre Gutachten vom 22. Dezember 2005 erstellen (Urk. 8/29). Ausserdem führte die Berufsberatung der IV-Stelle Abklärungen über die beruflichen Wiedereingliederungsmöglichkeiten des Versicherten durch und kam dabei zum Ergebnis, dass berufliche Massnahmen aufgrund der psychosozialen Belastung des Versicherten durch private und familiäre Schwierigkeiten zur Zeit nicht durchführbar seien (vgl. Verlaufsprotokoll vom 2. Februar 2006, Urk. 8/35). Im Weiteren holte die IV-Stelle bei der Z.___ AG die Beschreibung der individuellen Tätigkeit von X.___ vom 18. April 2006 ein (Urk. 8/42), und die Berufsberatung machte am 8. Mai 2006 Angaben zum Einkommensvergleich (Urk. 8/44). Mit Verfügung vom 26. Juni 2006 sprach die IV-Stelle X.___ basierend auf einem Invaliditätsgrad von 48 % mit Wirkung ab dem 1. April 2005 eine Viertelsrente zu (Urk. 8/63). Dagegen liessen sowohl X.___ am 29. Juni 2006 (Urk. 8/67), am 28. Juli 2006 (Urk. 8/77) bzw. am 4. September 2006 (Urk. 8/86) als auch die Pensionskasse der Z.___ (heute: Y.___) am 10. August 2006 (Urk. 8/81) Einsprache erheben. Am 6. September 2006 (Urk. 8/92) liess X.___ den Arztbericht der Klinik E.___, Fachklinik für kardiale und psychosomatische Rehabilitation, vom 25. Juli 2006 (Urk. 8/93) einreichen. Am 22. September 2006 liess der Versicherte Stellung nehmen zur Einsprache der Pensionskasse der Z.___ (Urk. 8/97). Diese wiederum nahm am 15. November 2006 Stellung zur Einsprache des Versicherten (Urk. 8/102). Am 13. März 2007 teilte die IV-Stelle X.___ und der Pensionskasse der Z.___ mit, sie habe vor, die angefochtene Verfügung mit dem Einspracheentscheid in dem Sinne abzuändern, als sie die zugesprochene Viertelsrente aufzuheben und keine Rente mehr zuzusprechen gedenke, da der Invaliditätsgrad lediglich 36 % betrage. Den Parteien werde Gelegenheit gegeben, zur vorgesehenen Abänderung der angefochtenen Verfügung zu Ungunsten des Versicherten Stellung zu nehmen, der Versicherte könne seine Einsprache allenfalls zurückziehen (Urk. 8/106). X.___ liess darauf am 23. März 2007 ausführen, da sein allfälliger Rückzug der Einsprache wegen der von der Pensionskasse der Z.___ erhobenen Einsprache wirkungslos bleiben würde, überlege er sich diesen Schritt nur dann, wenn die Pensionskasse der Z.___ ihre Einsprache zurückziehe (Urk. 8/108). Die Pensionskasse der Z.___ ihrerseits erklärte sich am 3. April 2007 (Urk. 8/109) und am 30. April 2007 (Urk. 8/113) mit der vorgesehenen Abänderung der angefochtenen Verfügung zu Ungunsten des Versicherten einverstanden. Mit Entscheid vom 3. Mai 2007 wies die IV-Stelle die Einsprache von X.___ ab und stellte in Gutheissung der Einsprache der Pensionskasse der Z.___ die Zahlung der bis zu diesem Zeitpunkt ausgerichteten Viertelsrente mit sofortiger Wirkung ein (Urk. 2).
2. Gegen diesen Einspracheentscheid liess X.___ durch Rechtsanwalt Dr. Kreso Glavas, Zürich, am 28. Mai 2007 Beschwerde erheben mit folgenden Anträgen (Urk. 1 S. 2):
"1. Der angefochtene Einspracheentscheid sei aufzuheben und dem Versicherten sei eine ganze Rente zu gewähren.
2. Eventuell sei die Streitsache an die Vorinstanz zwecks Vornahme der erneuten medizinischen und erwerblichen Abklärungen zurückzuweisen.
3. Es sei eine mündliche Verhandlung samt Parteivorträgen vorzusehen.
4. Unter Kosten- und Entschädigungsfolgen zu Lasten der Beschwerdegegnerin."
Mit Beschwerdeantwort vom 6. Juli 2007 ersuchte die IV-Stelle um Abweisung der Beschwerde (Urk. 7). Mit Verfügung vom 10. Juli 2007 wurde die Pensionskasse der Z.___ zum Prozess beigeladen (Urk. 9). Diese nahm am 30. August 2007 zur Beschwerde Stellung (Urk. 11). Am 10. September 2007 wurde der Schriftenwechsel geschlossen (Urk. 13). X.___ verzichtete am 28. September 2007 auf die Durchführung einer mündlichen Verhandlung (Urk. 15). Am 4. Oktober 2007 (Urk. 17) liess er den Arztbericht von Dr. med. F.___, Facharzt FMH Ohren-, Nasen-, Halskrankheiten, speziell Hals- und Gesichtschirurgie, vom 2. Oktober 2007 (Urk. 18) und am 6. Oktober 2007 (Urk. 19) den Arztbericht von Dr. med. G.___, Röntgeninstitut I.___, vom 3. April 2007 (Urk. 20) einreichen.
3. Auf die Vorbringen der Parteien und die eingereichten Akten wird, soweit erforderlich, in den Erwägungen eingegangen.
Das Gericht zieht in Erwägung:
1.
1.1 Am 1. Januar 2008 sind die im Zuge der 5. IV-Revision revidierten Bestimmungen des IVG vom 6. Oktober 2006, der Verordnung über die Invalidenversicherung (IVV) vom 28. September 2007, des ATSG sowie das Bundesgesetz über die Schaffung und die Änderung von Erlassen zur Neugestaltung des Finanzausgleichs und der Aufgabenteilung zwischen Bund und Kantonen (NFA) vom 6. Oktober 2006 in Kraft getreten. In materiellrechtlicher Hinsicht gilt jedoch der allgemeine übergangsrechtliche Grundsatz, dass der Beurteilung jene Rechtsnormen zu Grunde zu legen sind, die bei Erlass des angefochtenen Entscheids respektive im Zeitpunkt gegolten haben, als sich der zu den materiellen Rechtsfolgen führende Sachverhalt verwirklicht hat (vgl. BGE 127 V 467 Erw. 1, 126 V 136 Erw. 4b, je mit Hinweisen). Weil der angefochtene Einspracheentscheid am 3. Mai 2007 erging, gelangen die revidierten materiellen Vorschriften des IVG, der IVV und des ATSG im vorliegenden Fall noch nicht zur Anwendung. Bei den im Folgenden zitierten Gesetzes- und Verordnungsbestimmungen handelt es sich deshalb - soweit nichts anderes vermerkt wird - um die Fassungen, wie sie bis Ende 2007 in Kraft gewesen sind
1.2 Invalidität ist die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit (Art. 8 Abs. 1 ATSG). Die Invalidität kann Folge von Geburtsgebrechen, Krankheit oder Unfall sein (Art. 4 Abs. 1 IVG). Erwerbsunfähigkeit ist der durch Beeinträchtigung der körperlichen, geistigen oder psychischen Gesundheit verursachte und nach zumutbarer Behandlung und Eingliederung verbleibende ganze oder teilweise Verlust der Erwerbsmöglichkeiten auf dem in Betracht kommenden ausgeglichenen Arbeitsmarkt (Art. 7 ATSG).
1.3 Gemäss Art. 28 Abs. 1 IVG (in der bis zum 31. Dezember 2003 gültig gewesenen Fassung) haben Versicherte Anspruch auf eine ganze Rente, wenn sie mindestens zu 66 2/3 Prozent, auf eine halbe Rente, wenn sie mindestens zu 50 Prozent, oder auf eine Viertelsrente, wenn sie mindestens zu 40 Prozent invalid sind. In Härtefällen besteht gemäss Art. 28 Abs. 1bis IVG bereits bei einem Invaliditätsgrad von mindestens 40 Prozent Anspruch auf eine halbe Rente.
Die seit dem 1. Januar 2004 massgeblichen neuen Rentenabstufungen geben bei einem Invaliditätsgrad von mindestens 40 Prozent Anspruch auf eine Viertelsrente, bei einem Invaliditätsgrad von mindestens 50 Prozent Anspruch auf eine halbe Rente, bei einem Invaliditätsgrad von mindestens 60 Prozent Anspruch auf eine Dreiviertelsrente und bei einem Invaliditätsgrad von mindestens 70 Prozent Anspruch auf eine ganze Rente (Art. 28 Abs. 1 IVG in der seit dem 1. Januar 2004 in Kraft stehenden Fassung).
1.4 Bei erwerbstätigen Versicherten ist der Invaliditätsgrad gemäss Art. 16 ATSG (seit 1. Januar 2004: in Verbindung mit Art. 28 Abs. 2 IVG) aufgrund eines Einkommensvergleichs zu bestimmen. Dazu wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (sog. Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (sog. Valideneinkommen). Der Einkommensvergleich hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt (allgemeine Methode des Einkommensvergleichs; BGE 130 V 349 Erw. 3.4.2 mit Hinweisen).
1.5 Um den Invaliditätsgrad bemessen zu können, ist die Verwaltung (und im Beschwerdefall das Gericht) auf Unterlagen angewiesen, die ärztliche und gegebenenfalls auch andere Fachleute zur Verfügung zu stellen haben. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist (BGE 125 V 261 Erw. 4). Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der versicherten Person noch zugemutet werden können (BGE 125 V 261 Erw. 4 mit Hinweisen; AHI 2002 S. 70 Erw. 4b.cc).
Versicherungsträger und Sozialversicherungsgerichte haben die Beweise frei, das heisst ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen. Für das Beschwerdeverfahren bedeutet dies, dass das Sozialversicherungsgericht alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten. Insbesondere darf es bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist also entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen begründet sind. Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahme als Bericht oder Gutachten (BGE 125 V 351 E. 3a S. 352).
1.6 Nach Art. 42 ATSG haben die Parteien Anspruch auf rechtliches Gehör, wobei sie nicht angehört werden müssen vor Verfügungen, die durch Einsprache anfechtbar sind. Einer der Bestandteile des Anspruchs auf rechtliches Gehör, wie er neben der expliziten gesetzlichen Regelung von Art. 42 ATSG auch in Art. 29 Abs. 2 der Bundesverfassung (BV) garantiert wird (vgl. BGE 124 V 181 Erw. 1a), ist das Recht der betroffenen Person, sich vor Erlass eines in ihre Rechtsstellung eingreifenden Entscheids zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (vgl. BGE 124 V 181 Erw. 1a mit Hinweisen; Kieser, ATSG-Kommentar, Art. 42 Rz 10 ff.). Ein weiterer Bestandteil des Anspruchs auf rechtliches Gehör ist das Recht auf eine Begründung des Entscheids, welche die versicherte Person in die Lage versetzt, einen Entscheid sachgerecht anzufechten. Die Begründung muss wenigstens kurz die Überlegungen nennen, von denen sich die Behörde bei ihrem Entscheid hat leiten lassen und auf die sich der Entscheid stützt, um den verfassungsrechtlichen Anforderungen zu genügen (BGE 124 V 181 Erw. 1a mit Hinweisen; Kieser, ATSG-Kommentar, Art. 49 Rz 23 und Art. 52 Rz 21).
2.
2.1 Der Beschwerdeführer lässt zur Begründung seiner Beschwerde geltend machen, in formeller Hinsicht habe die Beschwerdegegnerin das rechtliche Gehör des Beschwerdeführers und ihre Begründungspflicht verletzt. In der Verfügung vom 26. Juni 2006 habe sie noch ein Valideneinkommen von Fr. 83'075.-- festgestellt, welches sich aus Einkünften von Fr. 75'205.-- für die Haupttätigkeit als Bauarbeiter und Fr. 7'800.-- für die Nebenerwerbstätigkeit als Hauswart zusammengesetzt habe. Im angefochtenen Einspracheentscheid habe die Beschwerdegegnerin den Nebenerwerb nicht mehr berücksichtigt, ohne dazu überhaupt Stellung zu nehmen. Richtigerweise sei beim Valideneinkommen jedenfalls vom zuletzt erzielten Einkommen bei der Z.___ AG auszugehen und das Nebenerwerbseinkommen als Hauswart zu addieren. Der Beschwerdeführer sei während laufendem Arbeitsverhältnis erkrankt, weshalb es sich als falsch erweise, dass die Beschwerdegegnerin bei der Ermittlung des Valideneinkommens auf die Tabellenlöhne abgestellt habe. Das Invalideneinkommen sei von der Beschwerdegegnerin dagegen zu hoch angesetzt worden, da sie zu Unrecht auf das Gutachten des D.___ abgestellt habe, welches die psychischen Einschränkungen des Beschwerdeführers ungenügend abgeklärt habe. Selbst wenn aber übereinstimmend mit dem Gutachten des D.___ davon ausgegangen würde, dass der Beschwerdeführer in einer behinderungsangepassten Tätigkeit zu 80 % arbeitsfähig wäre, könnte er damit maximal ein Einkommen von Fr. 40'000.-- pro Jahr erzielen, womit er immer noch Anspruch auf eine halbe Invalidenrente hätte (Urk. 1).
2.2 Demgegenüber führte die Beschwerdegegnerin im angefochtenen Einspracheentscheid aus, es könne vollumfänglich auf das Gutachten des D.___ abgestellt werden, da es sämtliche Anforderungen erfülle. Bei der Berechnung des Valideneinkommens sei zu berücksichtigen, dass der Beschwerdeführer seinen Arbeitsplatz nicht aus gesundheitlichen Gründen verloren habe, sondern weil er die Erwartungen seiner Arbeitgeberin nicht mehr erfüllt habe. Bei Eintritt des Gesundheitsschadens sei er bereits in gekündigtem Anstellungsverhältnis gewesen. Somit sei nicht auf das zuletzt erzielte Einkommen abzustellen, sondern das Valideneinkommen aufgrund des Durchschnittseinkommens der letzten fünf Jahre gemäss Auszug aus dem individuellen Konto zu berechnen, wobei zu beachten sei, dass das Nebenerwerbseinkommen als Hauswart darin bereits enthalten sei. Insgesamt betrage das Valideneinkommen somit Fr. 69'732.-- und das aufgrund der Tabellenlöhne ermittelte Invalideneinkommen Fr. 43'952.--. Die Erwerbseinbusse belaufe sich auf Fr. 26'780.-- bzw. 36 %, weshalb der Beschwerdeführer keinen Anspruch auf eine Invalidenrente habe (Urk. 2).
3. Bezüglich des vom Beschwerdeführer erhobenen Vorwurfs, die Beschwerdegegnerin habe das rechtliche Gehör verletzt, indem sie im angefochtenen Einspracheentscheid keine Stellung zur Berechnung des Valideneinkommens, insbesondere zum Einbezug der Nebenerwerbstätigkeit als Hauswart, genommen habe, ist festzuhalten, dass im angefochtenen Einspracheentscheid durchaus ausgeführt wird, wie die Beschwerdegegnerin die Berechnung des Valideneinkommens vorgenommen hat. Sie berechnete nämlich das Valideneinkommen aufgrund des Durchschnitts der im individuellen Konto des Beschwerdeführers (Urk. 8/7) eingetragenen AHV-pflichtigen Einkommen der letzten fünf Jahre vor Aufgabe seiner Tätigkeit bei der Z.___ AG. Da ein Einkommen als Hauswart nur in den Jahren 2002 und 2003 eingetragen ist, fand es dementsprechend bei der Berechnung des Durchschnittswerts nur für diese zwei Jahre Berücksichtigung. Damit erweist sich der angefochtene Entscheid in diesem Punkt als genügend begründet, und der Anspruch auf rechtliches Gehör des Beschwerdeführers ist nicht verletzt worden. Ob es sich grundsätzlich als richtig erweist, das Valideneinkommen anhand der im individuellen Konto des Beschwerdeführers eingetragenen Einkommen der letzten fünf Jahre vor Aufgabe der Erwerbstätigkeit zu berechnen, wird noch zu prüfen sein.
4.
4.1 Laut dem Bericht des Psychiatrie-Zentrums B.___ vom 29. März 2005 (Urk. 8/12) leidet der Beschwerdeführer unter einer akuten schweren depressiven Episode ohne psychotische Symptome F32.2 seit November 2003, einem Verdacht auf hypochondrische oder undifferenzierte Somatisierungsstörung F45.2/F45.1 seit ca. 2003 sowie einem LWS-Syndrom nach Diskushernie vor ca. 10 Jahren. Ohne Auswirkungen auf die Arbeitsfähigkeit bestünden ausserdem eine benigne Prostatahyperplasie seit ca. 5 Jahren sowie eine Hypertonie seit Februar 2004. Während des Klinikaufenthaltes vom 31. Januar bis zum 18. März 2005 sei der Beschwerdeführer zu 100 % arbeitsunfähig gewesen. Aufgrund des eher chronifizierten Verlaufs der depressiven Erkrankung sei vermutlich von einer zumindest teilweisen oder 100%igen Arbeitsunfähigkeit auszugehen. Der Beschwerdeführer sei wach, bewusstseinsklar und allseits orientiert. Im formalen Denken wirke er stark verlangsamt. Es hätten sich Hinweise für ein kognitives Defizit ergeben, und es bestünden Konzentrations- und Gedächtnisstörungen. Im Affekt wirke der Beschwerdeführer deprimiert, hoffnungslos und innerlich unruhig. Er gebe an, sich wertlos zu fühlen. Thematisch sei er auf die im Jahre 2003 zurückliegende Kündigung seines Arbeitsverhältnisses eingeengt. Er könne es immer noch nicht verstehen, warum er entlassen worden sei, wo er doch gut und zuverlässig gearbeitet habe. Im Antrieb und der Psychomotorik sei der Beschwerdeführer verlangsamt. Er leide unter Schlafstörungen, weshalb er häufig nachts aufstehe und am Tag schlafe. Es bestünden ein ausgeprägter sozialer Rückzug und eine latente Suizidalität. Im Vorfeld seines stationären Klinikaufenthalts in der geschlossenen Akutstation seien mehrere psychosoziale Probleme zu eruieren gewesen wie eine konflikthafte Partnerschaft und das Problem der Kündigung seiner Arbeitsstelle. Im stationären Alltag hätten sich im Rahmen eines multidisziplinären Therapieansatzes eine erhebliche Besserung und Stabilisierung des Beschwerdeführers gezeigt. Er habe ein sehr kooperatives und freundliches Verhalten aufgewiesen. Die medikamentöse Therapie habe eine deutliche Symptomreduktion erbracht. Es sei aber eher von einem chronischen Verlauf der depressiven Erkrankung auszugehen. Dazu bestehe eine ausgeprägte Somatisierungstendenz, so dass eine zurückhaltende Prognose zu stellen sei.
4.2 Nach dem Arztbericht von Dr. C.___ vom 16. November 2005 (Urk. 8/25/1-4) leidet der Beschwerdeführer unter einer Diskushernie L4/L5 mit Wurzelberührung L4 sowie einer psychogenen Anpassungsstörung (Hospitalisation in psychiatrischer Anstalt). In seiner angestammten Erwerbstätigkeit als Bauarbeiter sei der Beschwerdeführer seit dem 21. November 2003 zu 100 % arbeitsunfähig. Eine behinderungsangepasste Tätigkeit sei ihm nicht mehr zumutbar.
4.3 Die Ärzte des D.___ diagnostizierten in ihrem Gutachten vom 22. Dezember 2005 (Urk. 8/29/15) (1.) eine leichte depressive Episode (ICD-10 F32.0), (2.) eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4) bei Verdacht auf beginnendes multilokuläres Schmerzsyndrom (ICD-10 R52.1) sowie (3.) ein chronisches lumbovertebrales Schmerzsyndrom ohne radikuläre Symptomatik (ICD-10 M54.5) bei MR-tomographisch Diskushernie L4/5 links, klinisch ohne Beeinträchtigung der abgehenden Nervenwurzeln (ICD-10 M51.2) sowie degenerativen Veränderungen der Bandscheiben und der Zwischenwirbelgelenke L3 bis S1 (ICD-10 M47.86 und M42.1). Der Tagesablauf des Beschwerdeführers sei extrem unstrukturiert mit sehr unregelmässigen Aufstehzeiten und ohne regelmässige Aktivitäten tagsüber. Auch der Nachtschlaf sei gestört, einerseits aufgrund von Schmerzen, andererseits aufgrund einer Miktionsproblematik, welche derzeit behandelt werde. Aus persönlicher Sicht glaube der Beschwerdeführer nicht mehr an eine Rückkehr in den Arbeitsprozess. Er sei der Ansicht, wegen seinen starken körperlichen Beschwerden könne er nicht mehr arbeiten, und in seinem Alter gebe es ohnehin keine Chance auf eine Reintegration.
Wenngleich die objektivierbaren MR-tomographischen Veränderungen das altersentsprechende Mass nicht übertreffen würden, bestehe für die körperlich schwere Tätigkeit als Bauarbeiter dennoch bleibend eine volle Arbeitsunfähigkeit. Es sei erklärbar, dass es unter körperlich hohen Belastungen zum Auftreten von Schmerzen kommen könnte, die dem Beschwerdeführer nicht zugemutet werden sollten, obwohl die heute geäusserten Beschwerden nicht im Zusammenhang mit der Arbeitstätigkeit, sondern erst danach bei den Alltagsbelastungen aufgetreten seien. Aus psychiatrischer Sicht bestehe für jede körperlich angepasste Tätigkeit eine vollzeitliche Arbeitsfähigkeit mit einer Leistungseinbusse von 20 % aufgrund der leichten depressiven Störung und der anhaltenden somatoformen Schmerzstörung. Aus internistischer Sicht sei die Arbeitsfähigkeit nicht eingeschränkt. Zusammenfassend bestehe für die angestammte, körperlich schwere Tätigkeit bleibend eine volle Arbeitsunfähigkeit.
Aus orthopädischer Sicht bestehe für sämtliche körperlich leichten bis mittelschweren Tätigkeiten in wechselnder Position und ohne länger dauernde Zwangshaltungen der unteren Wirbelsäule eine zeitlich und leistungsmässig uneingeschränkte Arbeitsfähigkeit. Es sei organisch nicht plausibel zu erklären, weshalb es unter derart angepassten Tätigkeiten zu einer wesentlichen Schmerzprovokation kommen sollte, so dass sie dem Beschwerdeführer auch zumutbar seien. Aus psychiatrischer Sicht sei dagegen die generelle Einschränkung der Arbeitsfähigkeit von 20 % zu berücksichtigen, so dass zusammenfassend für jede körperlich leichte bis mittelschwere Tätigkeit in wechselnder Position und ohne länger dauernde Zwangshaltungen der unteren Wirbelsäule eine vollzeitliche Arbeitsfähigkeit mit einer Leistungseinbusse von 20 %, entsprechend einer zumutbaren Arbeitsfähigkeit von 80 %, bestehe.
Der Beschwerdeführer erachte sich selbst als nicht mehr arbeitsfähig in jeglicher Tätigkeit, was er im Wesentlichen mit seinen körperlichen Beschwerden begründe. Die Diskrepanz zu ihrer ärztlichen Einschätzung begründe sich wohl dadurch, dass der Beschwerdeführer davon ausgehe, sich vollständig gesund fühlen zu müssen und zu keiner Zeit Schmerzen verspüren zu dürfen, um einer Arbeitstätigkeit nachgehen zu können. Im Weiteren bestünden bei Schmerzverarbeitungsstörungen immer höhere Selbstlimitierungen als es medizinisch-theoretisch, insbesondere im Sinne der Willensanstrengung aus psychiatrischer Sicht zumutbar wäre. Ausserdem gehe der Beschwerdeführer davon aus, aufgrund seines nicht mehr jungen Alters keine Chance mehr auf dem allgemeinen Arbeitsmarkt zu haben.
4.4 Gemäss dem Bericht der Klinik E.___ vom 25. Juli 2006 (Urk. 8/93) über den stationären Aufenthalt vom 15. Mai bis zum 3. Juni 2006 leidet der Beschwerdeführer unter einer schweren depressiven Episode ohne psychotische Symptome (ICD-10: F32.2) sowie einem Verdacht auf undifferenzierte Somatisierungsstörung (ICD-10: F45.1). Durch die Kündigung im November 2003, welche für den Beschwerdeführer völlig unerwartet erfolgt sei, habe er einen psychischen Zusammenbruch erlitten, der sich in der darauf folgenden Zeit durch das Eintreffen verschiedener belastender Lebensereignisse in eine schwere Depression verwandelt habe. Bei Klinikeintritt habe der Beschwerdeführer von Schlafstörungen, Appetitlosigkeit, Kopfschmerzen, Erschöpfung, Interessen- und Freudlosigkeit sowie Rückenschmerzen berichtet. Im Laufe des Klinikaufenthalts habe die schwere depressive Episode leicht gebessert werden können. Der Beschwerdeführer habe regelmässig und gewissenhaft am Rehabilitationsprogramm teilgenommen. Es sei ihm gelungen, sich von seinen Problemen etwas zu distanzieren und wieder einen Zugang zu sich selber zu finden. Auch habe er seinen Körper besser wahrnehmen und seine Leistungsfähigkeit etwas steigern können. In den psychotherapeutischen Gesprächen habe sich der Beschwerdeführer relativ offen gezeigt, doch die belastenden Themen seien wenig besprochen worden, da er mit heftigen psychischen Bewegungen reagiert habe.
4.5 Laut dem Arztbericht von Dr. F.___ vom 2. Oktober 2007 (Urk. 18) leidet der Beschwerdeführer unter einer hochgradigen sensorineuralen Schwerhörigkeit beidseits. Auch nach beidseitiger Hörgeräteversorgung bestehe eine starke Beeinträchtigung der auditiven Fähigkeiten, was den Beschwerdeführer sowohl in seinen beruflichen als auch in seinen sozialen Fähigkeiten massiv einschränke. Eine weitere Erwerbstätigkeit im zuletzt ausgeübten Beruf sei nicht zumutbar. Ein Lippenablesen sei an den häufig dunklen Arbeitsplätzen nicht möglich, und das Tragen von Gehörschützen sei bei deutlich erhöhten Umgebungsgeräuschpegeln am Arbeitsplatz hinderlich für das Tragen von Hörgeräten. Es sei deshalb von einer dauernden Arbeitsunfähigkeit von 100 % auszugehen.
4.6 Nach dem Arztbericht von Dr. G.___ vom 3. April 2007 (Urk. 20) über die Magnetresonanz-Tomographie der linken Schulter bestehen beim Beschwerdeführer eine komplette Ruptur der Musculus supraspinatus-Sehne im ventralen bis mittleren Sehnendrittel, eine inferiore chondrolabrale Läsion (GLAD-Läsion), eine Omarthrose sowie eine mässige AC-Arthrose mit geringer Einengung des Subacrominalraumes. Ansonsten sei die Schulter unauffällig.
5.
5.1 Das D.___-Gutachten vom 22. Dezember 2005 (Urk. 8/29) beantwortet die gestellten Fragen umfassend, berücksichtigt die vom Beschwerdeführer geklagten Schmerzen, wurde in Kenntnis und in Auseinandersetzung mit den Vorakten erstellt und ist in der Darlegung der medizinischen Zustände und Zusammenhänge einleuchtend. Ebenso wurden die gezogenen Schlussfolgerungen in nachvollziehbarer Weise hergeleitet. Das Gutachten wird damit den von der Rechtsprechung entwickelten Anforderungen an eine beweiskräftige medizinische Stellungnahme (BGE 125 V 352 Erw. 3a) gerecht. Ihm ist volle Beweiskraft zuzuerkennen, falls keine konkreten Indizien gegen die Zuverlässigkeit der Expertise sprechen (BGE 125 V 353 Erw. 3b/bb).
5.2 Der Beschwerdeführer lässt gegen das D.___-Gutachten vorbringen, es übergehe die Beurteilungen der behandelnden Psychiater, wonach er aus psychischer Sicht voll arbeitsunfähig sei. Das D.___ habe in bekannter Manier die Problematik beschönigt, weil das Papier bekanntlich geduldig sei und auch die Unwahrheit vertrage, ohne rot zu werden. Es handle sich beim D.___ um eine berüchtigte medizinische Institution, gegen die gar Strafanzeigen wegen Gutachtensmanipulation eingereicht worden seien. Ausser diesen pauschalen Vorwürfen gegen das D.___, welche nicht gegen die Zuverlässigkeit des konkret vorliegenden Gutachtens sprechen, beruft sich der Beschwerdeführer auf die abweichenden Berichte der behandelnden Ärzte, welche einerseits überzeugender seien und zu welchen anderseits im D.___-Gutachten keine Stellung genommen werde. Zu den Berichten der behandelnden Ärzte ist grundsätzlich festzuhalten, dass bei deren Einschätzungen der Arbeitsfähigkeit der Erfahrungstatsache Rechnung zu tragen ist, dass diese mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patientinnen und Patienten aussagen (BGE 125 V 353 Erw. 3b/cc). Der Beschwerdeführer zeigte unter den jeweiligen psychiatrischen Behandlungen eine deutliche Symptomreduzierung. Die behandelnden Ärzte haben ausserdem die beim Beschwerdeführer ausgeprägt im Vordergrund stehenden invaliditätsfremden psychosozialen Ursachen wie die grosse Kränkung durch die als völlig ungerechtfertigt empfundene Kündigung seiner langjährigen Stelle durch die Arbeitgeberin und die belastende familiäre Situation im Gegensatz zum D.___ in ihre Beurteilung der Arbeitsfähigkeit einfliessen lassen. Ebenso haben sie zu wenig berücksichtigt, dass beim Beschwerdeführer eine Selbstlimitierung vorliegt und er angesichts der vorhandenen gesundheitlichen Einschränkungen und seines fortgeschrittenen Alters keine Chance mehr sieht, eine Arbeitsstelle zu finden, womit sie zu Unrecht davon ausgegangen sind, es sei dem Beschwerdeführer nicht zumutbar, die vorhandenen gesundheitlichen Einschränkungen zu überwinden und wieder einer Erwerbstätigkeit nachzugehen. Den Ärzten des D.___ sind ausserdem die von der Beschwerdegegnerin eingeholten Berichte der behandelnden Ärzte vorgelegen, wozu sie im Gutachten Stellung genommen haben.
5.3 Die Beurteilung der Arbeitsfähigkeit von Dr. F.___ in seinem Bericht vom 2. Oktober 2007 (Urk. 18) bezieht sich offenbar auf die bisher vom Beschwerdeführer ausgeübte Tätigkeit als Bauarbeiter, da einerseits ein Lippenablesen auf den häufig dunklen Arbeitsplätzen nicht möglich und anderseits das auf Baustellen erforderliche Tragen von Gehörschützen für das Tragen von Hörgeräten hinderlich sei. Demgegenüber ergibt sich in einer behinderungsangepassten Tätigkeit keine wesentliche zusätzliche Einschränkung der Arbeitsfähigkeit, kann der Beschwerdeführer doch nach erfolgter Hörgeräte-Versorgung eine Verständlichkeit von 70 % erreichen, was für auf dem freien Arbeitsmarkt in grosser Anzahl vorhandene Stellen, bei welchen keine übermässigen Umgebungsgeräusche vorhanden sind und die kein dauerndes Kommunizieren mit anderen Leuten erfordern, als ausreichend erscheint.
5.4 Aus dem Arztbericht von Dr. G.___ vom 3. April 2007 (Urk. 20) geht nicht hervor, dass der Beschwerdeführer wegen seiner Beschwerden an der linken Schulter dauerhaft in seiner Arbeitsfähigkeit eingeschränkt ist.
5.5 Soweit der Beschwerdeführer eine Beurteilung durch eine MEDAS verlangt, ist festzuhalten, dass er die zunächst von der Beschwerdegegnerin vorgesehene Begutachtung durch die MEDAS H.___ abgelehnt hat, da es sich dabei seiner Meinung nach ebenfalls - wie beim D.___ - nicht um eine geeignete Institution handelt (Urk. 8/17). Es steht indessen nicht im Belieben der versicherten Person, die Gutachtensstelle selbst auszuwählen, und das D.___-Gutachten erfüllt - wie bereits erwähnt - die Anforderungen an ein beweistaugliches Gutachten vollumfänglich.
5.6 Das D.___-Gutachten vermag im Weiteren auch überzeugend darzulegen, dass der Beschwerdeführer seit April 2004 im attestierten Umfang arbeitsfähig ist. Es besteht mithin kein Grund, für die Zeit vor der Begutachtung von einer höheren Arbeitsunfähigkeit auszugehen.
5.7 Insgesamt bringt der Beschwerdeführer damit nichts vor, was gegen die Zuverlässigkeit des D.___-Gutachtens spricht. Es ist somit übereinstimmend mit den D.___-Gutachtern davon auszugehen, dass in einer körperlich leichten bis mittelschweren Tätigkeit in wechselnder Position und ohne länger dauernde Zwangshaltungen der unteren Wirbelsäule eine vollzeitliche Arbeitsfähigkeit mit einer Leistungseinbusse von 20 %, entsprechend einer zumutbaren Arbeitsfähigkeit von 80 %, besteht.
6.
6.1 Was das Einkommen ohne Gesundheitsschaden (Valideneinkommen) betrifft, so ist übereinstimmend mit der im angefochtenen Einspracheentscheid von der Beschwerdegegnerin geäusserten Auffassung (vgl. Urk. 2 S. 4 Ziff. 4 mit Hinweisen) nicht vom zuletzt verdienten Lohn auszugehen, da der Beschwerdeführer wegen erfolgter leidensfremder Kündigung nicht mehr an diesem Arbeitsplatz tätig wäre (Urk. 8/8/4). Es ist indessen davon auszugehen, dass der Beschwerdeführer ohne Eintritt des Gesundheitsschadens weiterhin im Baugewerbe arbeitstätig wäre, und der mit dieser Tätigkeit mutmasslich erzielte Lohn ist anhand der statistischen Tabellenlöhne zu ermitteln. Da der Beschwerdeführer seit seiner erstmaligen Einreise in die Schweiz im Jahre 1979 ununterbrochen als Bauarbeiter tätig gewesen ist, kann davon ausgegangen werden, dass er eine Stelle hätte antreten können, bei der Berufs- und Fachkenntnisse vorausgesetzt werden (Anforderungsniveau 3). Der Zentralwert für solche Stellen im Baugewerbe betrug bei den Männern im Jahre 2004 im privaten Sektor Fr. 5'358.-- bei 40 Arbeitsstunden pro Woche (LSE 2004, Tabelle TA 1, S. 53), was unter Berücksichtigung einer betriebsüblichen Arbeitszeit von 41,6 Stunden pro Woche ein hypothetisches Einkommen von monatlich Fr. 5'572.30 bzw. Fr. 66'867.60 pro Jahr (x 12) ergibt. Angepasst an den Nominallohnindex für Männer (vgl. Die Volkswirtschaft 9-2008, Tabelle B 10.3, S. 99: 2004 = 1975, 2005 = 1992) ergibt sich für das Jahr 2005 ein Einkommen von Fr. 67'443.15.
Im Weiteren ist davon auszugehen, dass der Beschwerdeführer auch weiterhin seine Stelle als Hauswart ausgeübt hätte. Damit erzielte er laut Auszug aus dem individuellen Konto (Urk. 8/7/1) im Jahre 2003 ein Einkommen von Fr. 7'800.--. Angepasst an den Nominallohnindex für Männer (vgl. Die Volkswirtschaft 9-2008, Tabelle B 10.3, S. 99: 2003 = 1958, 2004 = 1992) ergibt sich für das Jahr 2005 ein Einkommen aus Nebenerwerb von Fr. 7'935.45. Gesamthaft beträgt das Valideneinkommen des Beschwerdeführers für das Jahr 2004 damit Fr. 75'378.60 (Fr. 67'443.15 + Fr. 7'935.45).
6.2 Für die Bestimmung des Invalideneinkommens ist primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Ist kein solches tatsächlich erzieltes Erwerbseinkommen gegeben, namentlich weil die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat, so können nach der Rechtsprechung Tabellenlöhne gemäss den vom Bundesamt für Statistik periodisch herausgegebenen Lohnstrukturerhebungen (LSE) herangezogen werden (BGE 126 V 76 f. Erw. 3b/aa und bb, vgl. auch BGE 129 V 475 Erw. 4.2.1). Für die Invaliditätsbemessung wird praxisgemäss auf die standardisierten Bruttolöhne (Tabellengruppe A) abgestellt (BGE 129 V 476 Erw. 4.2.1 mit Hinweis), wobei jeweils vom so genannten Zentralwert (Median) auszugehen ist. Bei der Anwendung der Tabellengruppe A gilt es ausserdem zu berücksichtigen, dass ihr generell eine Arbeitszeit von 40 Wochenstunden zugrunde liegt, welcher Wert etwas tiefer ist als die bis 1998 betriebsübliche durchschnittliche Arbeitszeit von wöchentlich 41,9 Stunden, seit 1999 von 41,8 Stunden, seit 2001 von 41,7, seit 2004 von 41,6 und seit 2006 von 41,7 Stunden (Die Volkswirtschaft 5-2008 S. 86 Tabelle B9.2; BGE 129 V 484 Erw. 4.3.2, 126 V 77 f. Erw. 3b/bb, 124 V 322 Erw. 3b/aa; AHI 2000 S. 81 Erw. 2a).
Nach der Rechtsprechung ist beim Einkommensvergleich unter Verwendung statistischer Tabellenlöhne zu berücksichtigen, dass gesundheitlich beeinträchtigte Personen, die selbst bei leichten Hilfsarbeitertätigkeiten behindert sind, im Vergleich zu voll leistungsfähigen und entsprechend einsetzbaren Arbeitnehmern und Arbeitnehmerinnen lohnmässig benachteiligt sind und deshalb in der Regel mit unterdurchschnittlichen Lohnansätzen rechnen müssen. Sodann ist dem Umstand Rechung zu tragen, dass weitere persönliche und berufliche Merkmale einer versicherten Person, wie Alter, Dauer der Betriebszugehörigkeit, Nationalität oder Aufenthaltskategorie sowie Beschäftigungsgrad Auswirkungen auf die Lohnhöhe haben können. In BGE 126 V 75 ff. hat das Eidgenössische Versicherungsgericht die bisherige Praxis dahin gehend präzisiert, dass die Frage, ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalls (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) abhängig ist. Der Einfluss sämtlicher Merkmale auf das Invalideneinkommen ist nach pflichtgemässem Ermessen gesamthaft zu schätzen, wobei der Abzug auf höchstens 25 % zu begrenzen ist (BGE 129 V 481 Erw. 4.2.3 mit Hinweisen).
6.3 Der Zentralwert für die mit einfachen und repetitiven Aufgaben beschäftigten Männer betrug im Jahre 2004 im privaten Sektor Fr. 4'588.-- pro Monat bei 40 Arbeitsstunden pro Woche (LSE 2004, Tabelle TA 1, S. 53), was unter Berücksichtigung einer betriebsüblichen Arbeitszeit von 41,6 Stunden pro Woche ein hypothetisches Einkommen von monatlich Fr. 4'771.50 bzw. Fr. 57'258.-- pro Jahr (x 12) ergibt. Angepasst an den Nominallohnindex für Männer (vgl. Die Volkswirtschaft 9-2008, Tabelle B 10.3, S. 99: 2004 = 1975, 2005 = 1992) resultiert für das Jahr 2005 ein Einkommen von 57'750.85. Unter Berücksichtigung des Umstandes, dass der Beschwerdeführer lediglich noch eine Leistung von 80 % erbringen kann, beläuft sich das Einkommen auf Fr. 46'200.70. Es ist der Beschwerdegegnerin darin beizupflichten, dass die medizinische Beurteilung, wonach eine Leistungseinbusse von 20 % bei möglicher Erbringung eines Vollzeitpensums besteht, die Umstände der unterdurchschnittlichen Verwertbarkeit der Restarbeitsfähigkeit auf dem ausgeglichenen Stellenmarkt bereits berücksichtigt und mit einem zusätzlichen Abzug von 5 % sämtliche Gegebenheiten genügend Rechnung getan ist. Das Invalideneinkommen für die Haupterwerbstätigkeit beläuft sich damit auf Fr. 43'890.65 (95 % von Fr. 46'200.70).
Da der Beschwerdeführer in zeitlicher Hinsicht in seiner Arbeitsfähigkeit nicht eingeschränkt ist, ist ihm auch die Ausübung der Nebenerwerbstätigkeit weiterhin zumutbar. Die Tätigkeit als Hauswart entspricht dem Anforderungsprofil einer körperlich leichten bis mittelschweren Tätigkeit in wechselnder Position und ohne länger dauernde Zwangshaltungen der unteren Wirbelsäule. Es ist demnach davon auszugehen, dass der Beschwerdeführer die Tätigkeit als Hauswart weiterhin ausüben kann, wobei aber die generelle Leistungseinbusse von 20 % zu berücksichtigen ist. Für die Hauswartstätigkeit ist damit ein zusätzliches Invalideneinkommen von Fr. 6'348.35 (80 % von Fr. 7'935.45) anzurechnen. Insgesamt beläuft sich das Invalideneinkommen somit auf Fr. 50'239.-- (Fr. 43'890.65 + Fr. 6'348.35). Verglichen mit dem hypothetischen Valideneinkommen von Fr. 75'378.60 resultiert eine Einkommenseinbusse von Fr. 25'139.60 bzw. 33,35 %. Die Beschwerdegegnerin hat damit im angefochtenen Einspracheentscheid vom 3. Mai 2007 den Rentenanspruch des Beschwerdeführers zu Recht verneint.
7. Zusammenfassend erweist sich der angefochtene Einspracheentscheid als rechtens, weshalb die Beschwerde abzuweisen ist.
8.
8.1 Gemäss Art. 69 Abs. 1bis IVG (in der seit dem 1. Juli 2006 gültigen Fassung) ist abweichend von Art. 61 lit. a ATSG das Beschwerdeverfahren bei Streitigkeiten um die Bewilligung oder die Verweigerung von IV-Leistungen vor dem kantonalen Versicherungsgericht kostenpflichtig. Die Kosten werden nach dem Verfahrensaufwand und unabhängig vom Streitwert im Rahmen von 200-1000 Franken festgelegt.
8.2 Die Gerichtskosten sind auf Fr. 700.-- festzusetzen und dem Beschwerdeführer aufzuerlegen.
Das Gericht erkennt:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 700.-- werden dem Beschwerdeführer auferlegt. Rechnung und Einzahlungsschein werden dem Kostenpflichtigen nach Eintritt der Rechtskraft zugestellt.
3. Zustellung gegen Empfangsschein an:
- Rechtsanwalt Dr. Kreso Glavas
- Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle
- Y.___
- Bundesamt für Sozialversicherungen
sowie an:
- Gerichtskasse (im Dispositiv nach Eintritt der Rechtskraft)
4. Gegen diesen Entscheid kann innert 30 Tagen seit der Zustellung beim Bundesgericht Beschwerde eingereicht werden (Art. 82 ff. in Verbindung mit Art. 90 ff. des Bundesgesetzes über das Bundesgericht, BGG). Die Frist steht während folgender Zeiten still: vom siebten Tag vor Ostern bis und mit dem siebten Tag nach Ostern, vom 15. Juli bis und mit 15. August sowie vom 18. Dezember bis und mit dem 2. Januar (Art. 46 BGG).
Die Beschwerdeschrift ist dem Bundesgericht, Schweizerhofquai 6, 6004 Luzern, zuzustellen.
Die Beschwerdeschrift hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten; der angefochtene Entscheid sowie die als Beweismittel angerufenen Urkunden sind beizulegen, soweit die Partei sie in Händen hat (Art. 42 BGG).